Questão 88 · Informática: Inteligência artificial e ciência de dados
As arquiteturas de modelos de linguagem de larga escala (Large Language Models - LLM) surgiram recentemente, revolucionando a área de inteligência artificial nas áreas de processamento e geração de texto.
A arquitetura desses modelos baseia-se, majoritariamente, nas redes neurais do tipo transformers. Relacione as arquiteturas a seguir com suas características principais: 1. BERT 2. GPT 3. T5 ( ) Utiliza decoders das redes transformer para prever novos tokens a partir de uma sequência, tornando-se ideal para a geração de textos.
( ) Utiliza encoders das redes transformer para "entender" o contexto de frases, tornando-se ideal para classificação de textos.
( ) Utiliza encoders e decoders das redes transformer, sendo adaptável a situações em que seja necessário gerar novos textos ou processar textos para "entender" o contexto das frases.
( ) Em comparação com as outras arquiteturas, tem menor necessidade de fine-tuning para melhora de performance.
A relação correta, na ordem apresentada, é
- A) 1 – 3 – 2 – 2.
- B) 2 – 3 – 1 – 3.
- C) 3 – 2 – 1 – 2.
- D) 3 – 1 – 2 – 2.
- E) 2 – 1 – 3 – 3.
Marque a alternativa correta:
Gabarito: E
Gabarito definitivo divulgado pela banca FGV (TCE/PA 2024).
Comentário
Gabarito: E.
Associando as arquiteturas de modelos baseadas em Transformers (BERT, GPT e T5) com suas propriedades:
- 'Utiliza decoders das redes transformer para prever novos tokens a partir de uma sequência, tornando-se ideal para a geração de textos': Define a família GPT (2), arquitetura autorregressiva do tipo decoder-only.
- 'Utiliza encoders das redes transformer para entender o contexto de frases, tornando-se ideal para classificação de textos': Define o BERT (1), modelo bidirecional do tipo encoder-only pré-treinado com Masked Language Modeling.
- 'Utiliza encoders e decoders das redes transformer, sendo adaptável a situações em que seja necessário gerar novos textos ou processar textos para entender o contexto das frases': Define o T5 (3), modelo completo encoder-decoder que trata todas as tarefas como text-to-text.
- 'Em comparação com as outras arquiteturas, tem menor necessidade de fine-tuning para melhora de performance': Atribuído pela banca ao T5 (3), em razão de seu pré-treinamento unificado multitarefa text-to-text abrangente.
A correspondência correta é 2 – 1 – 3 – 3 (Alternativa E).
Por que as outras alternativas estão incorretas:
- (A) Errada, pois atribui geração por decoders ao BERT (que é encoder-only).
- (B) Errada, pois inverte BERT e T5 na classificação e no modelo encoder-decoder.
- (C) Errada, pois inicia com T5 em vez de GPT no modelo gerador decoder-only.
- (D) Errada, pois atribui a função de geração ao T5 e classificação ao BERT na primeira posição.
Dica de prova: Fixe a taxonomia dos Transformers: GPT = Decoder-only (geração de texto); BERT = Encoder-only (compreensão e classificação); T5 = Encoder-Decoder (abordagem unificada text-to-text).
Fundamentos: arquiteturas de Large Language Models (LLM) · Transformers: BERT, GPT e T5 · encoder-only versus decoder-only versus encoder-decoder
Comentário gerado pela Cravei IA a partir do enunciado e do gabarito definitivo divulgado pela banca, e conferido por uma verificação automática. A IA pode errar: o gabarito oficial sempre prevalece.
Fonte: prova FGV TCE/PA 2024 (Auditor de Controle Externo - Administrativa - Ciência de Dados), questão 88, com o gabarito definitivo da banca. Comentário: Equipe Cravei · como fazemos e revisamos.