$OPENAI
#OpenAI 

+9
Na OpenAI, tokens são as unidades básicas de texto que os modelos de IA leem e escrevem. Você pode pensar neles como pedaços de palavras. Antes de processar seu prompt, a IA divide o texto nessas pequenas partes e atribui IDs numéricos a elas. [1, 2]
Noções Básicas sobre Tokens
O que são: Um token pode ser um único caractere, uma palavra parcial ou uma palavra inteira. Palavras comuns são frequentemente representadas por um único token, enquanto palavras mais longas ou menos comuns são divididas em múltiplos tokens.
Regras Práticas em Inglês:
\(1 \text{ token} \approx 4 \text{ caracteres}\) ou \(0.75 \text{ palavras}\)
\(100 \text{ tokens} \approx 75 \text{ palavras}\)
\(1 \text{ parágrafo} \approx 100 \text{ tokens}\)
Variação Linguística: A tokenização muda dependendo da língua. Por exemplo, línguas como Hindi ou Árabe requerem mais tokens por palavra em comparação ao inglês. [1, 2, 3, 4]
Por que Tokens Importam
Precificação: A OpenAI cobra pelo uso da API com base no número total de tokens processados. Você paga tanto pelos tokens de entrada (o prompt que você envia) quanto pelos tokens de saída (a resposta que a IA gera).
Janelas de Contexto: Cada modelo de IA tem uma "janela de contexto" máxima, que é o número total de tokens que ele pode manter na memória de curto prazo ao mesmo tempo. Este limite inclui tanto seu prompt quanto a resposta gerada. [1, 2, 3, 4, 5]
Como Calcular Tokens
Para evitar surpresas nas suas contas da API ou ultrapassar os limites de contexto, você pode calcular a contagem exata de tokens antes de enviar uma solicitação. [1, 2]