Token

A unidade básica em que um modelo de linguagem divide o texto para processá-lo. Em geral é um pedaço de palavra, não a palavra inteira: termos comuns viram um único token, enquanto palavras longas ou raras se dividem em vários. Tudo o que o modelo lê e escreve é contado em tokens, e é nessa unidade que se medem o limite de tamanho de uma conversa e o custo de uso das ferramentas pagas.