Mecanismo de atenção

O componente central do Transformer que permite ao modelo, ao processar cada palavra, ponderar quais outras palavras do texto são mais relevantes para o significado. Na frase “o cachorro não comeu porque ele estava cheio”, a atenção é o que associa “ele” a “cachorro”. Ao fazer isso para todas as palavras ao mesmo tempo, o modelo capta relações entre partes distantes do texto, o que responde por boa parte da coerência dos modelos atuais.