Token
Auch: Tokens, Tokenisierung
Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell arbeitet. Ein Token kann ein ganzes Wort, ein Wortteil oder ein Satzzeichen sein.
Ein Token ist die Einheit, in die ein Sprachmodell Text zerlegt. Das kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Laut OpenAI entspricht ein Token im Englischen etwa vier Zeichen, 100 Tokens sind rund 75 Wörter. In anderen Sprachen wie Deutsch weicht das Verhältnis ab.
Wofür Tokens wichtig sind
- Kontextfenster: Modelle können nur eine begrenzte Zahl an Tokens auf einmal verarbeiten.
- Kosten: KI-Schnittstellen rechnen meist nach Tokens ab.
- Antwortlänge: Die Länge einer Antwort wird in Tokens begrenzt.
| Einheit | Entspricht etwa |
|---|---|
| 1 Token | 4 Zeichen |
| 1 Token | ¾ Wort |
| 100 Tokens | 75 Wörter |
Bedeutung für KI-Sichtbarkeit
Wenn KI-Systeme Webseiten für eine Antwort lesen, passt nur ein Teil davon in den Kontext. Kurze, klare Passagen mit der Antwort am Anfang haben daher bessere Chancen, übernommen zu werden, siehe Content für KI schreiben.
Häufige Fragen
Brauchen deutsche Texte mehr Tokens?
Oft ja, weil lange zusammengesetzte Wörter in mehrere Tokens zerlegt werden. OpenAI weist darauf hin, dass andere Sprachen ein anderes Verhältnis von Zeichen und Tokens haben.