@Lagrange Official #lagrange Beide Eingaben und Ausgaben verbrauchen Tokens.
Modelle haben maximale Tokenlimits – z. B. verarbeitet GPT‑3.5 Turbo bis zu 4.096 Tokens, GPT‑4 bis zu 8.192 oder 32.768, und GPT‑4 Turbo kann bis zu 128k Tokens verarbeiten
OpenAI Community
+5
Wikipedia
+5
+5
tokencalculator.online
.
Warum Tokens wichtig sind
Kosten: Abrechnung erfolgt pro Token. (z. B. kostet GPT‑4 Turbo 0,01 $/1k Eingabetokens und 0,03 $/1k Ausgabetokens)
+4
tokencalculator.online
+4
+4
.
Speicher: Sobald das Gespräch das Tokenlimit überschreitet, werden frühere Nachrichten „vergessen“.
Überprüfung der Token-Nutzung
Verwenden Sie OpenAIs Tokenizer-Tool, um zu sehen, wie Ihr Text in Tokens aufgeteilt wird: Geben Sie Ihren Text unter platform.openai.com/tokenizer ein
+3
+3
+3
+6
OpenAI Help Center
+6
ChatGPT Plus Blog
+6
.
Programmgesteuert verwenden Sie die Tiktoken-Bibliothek, um Tokens im Code zu zählen
+3
OpenAI Help Center
+3
ChatGPT Plus Blog
+3
.
TL;DR Tabelle
Konzept Annäherung
1 Token ≈ 4 Zeichen im englischen Text
1 Token ≈ ¾ Wort
100 Tokens ≈ 75 Wörter