Questão 115 · Informática: Inteligência artificial e ciência de dados
Julgue os itens que se seguem, em relação a grandes modelos de linguagem (LLMs) e a redes neurais.
O uso de tokenizadores subword permite que LLMs aprendam palavras fora do vocabulário de treinamento, otimizando a compreensão sem estar restrito a um único idioma.
Julgue o item:
Gabarito: CERTO
Gabarito definitivo divulgado pela banca Cebraspe (TRF6 2025).
Comentário
Gabarito: CERTO.
O item está correto ao afirmar que o uso de tokenizadores subword permite que Large Language Models (LLMs) aprendam palavras fora do vocabulário de treinamento e otimizem a compreensão sem restrição a um único idioma.
Os tokenizadores subword (ou subpalavra) dividem as palavras em unidades menores, como prefixos, sufixos e raízes. Por exemplo, a palavra "desinstalar" pode ser dividida em "des", "instalar". Isso é crucial porque, se uma palavra inteira não foi vista durante o treinamento, o modelo ainda pode inferir seu significado a partir de seus componentes subword que já conhece. Essa capacidade de decomposição e recomposição de palavras é o que permite aos LLMs lidar com palavras raras, novas ou mesmo erros de digitação, além de facilitar a generalização para diferentes idiomas, já que muitos idiomas compartilham raízes ou estruturas de subpalavras, ou pelo menos a lógica de formação de palavras compostas ou derivadas. Assim, a compreensão do modelo não fica limitada a um vocabulário fixo e pré-definido de palavras completas.
Fundamentos: Conceito de tokenização subword em LLMs · Mecanismos de generalização e otimização de vocabulário em modelos de linguagem
Comentário gerado pela Cravei IA a partir do enunciado e do gabarito definitivo divulgado pela banca, e conferido por uma verificação automática. A IA pode errar: o gabarito oficial sempre prevalece.
Fonte: prova Cebraspe TRF6 2025 (Analista Judiciário – Área: Apoio Especializado – Especialidade: Análise de Sistemas de Informação), questão 115, com o gabarito definitivo da banca. Comentário: Equipe Cravei · como fazemos e revisamos.