Questão 90 · Informática: Inteligência artificial e ciência de dados

Gabarito: ERRADO.

O item apresenta diversas informações incorretas sobre o funcionamento de LLMs como o LLaMA e o processo de inferência. Primeiramente, a afirmação de que o LLaMA utiliza decodificação paralela para gerar todos os tokens simultaneamente, "sem depender do contexto anterior", está equivocada. Modelos de linguagem, por sua natureza, são sequenciais e dependem fortemente do contexto anterior (tokens já gerados) para prever o próximo token. A decodificação paralela, quando aplicada, geralmente se refere a otimizações para gerar múltiplos tokens em paralelo dentro de uma mesma etapa de inferência, mas ainda respeitando a dependência do contexto. No entanto, a geração de tokens é fundamentalmente sequencial, onde cada novo token é condicionado aos tokens precedentes.

Em segundo lugar, a ideia de que essa suposta decodificação paralela "elimina a necessidade de otimizações como layer-wise quantization" também é falsa. A quantização (como a layer-wise quantization) é uma técnica de otimização de modelos que visa reduzir o tamanho e o consumo de memória, além de acelerar a inferência, ao representar os pesos do modelo com menor precisão (por exemplo, de 32 bits para 8 ou 4 bits). Essas otimizações são cruciais para a implantação de LLMs em ambientes com recursos limitados e não são eliminadas por um método de decodificação, seja ele sequencial ou paralelo. Pelo contrário, são complementares.

Dica: O Cebraspe frequentemente mistura conceitos corretos com incorretos ou atribui características de uma técnica a outra para confundir o candidato. Fique atento a afirmações absolutas como "sem depender" ou "elimina a necessidade".