Transformer

A arquitetura de rede neural, proposta em 2017, que serve de base para a maioria dos grandes modelos de linguagem atuais. Sua principal inovação foi o mecanismo de atenção, que processa todas as partes de um texto em conjunto e pondera as relações entre elas, em vez de ler palavra por palavra em sequência. Isso a tornou mais eficiente de treinar em larga escala, e é a origem do “T” na sigla GPT.