Token Texteinheit für Sprachmodelle
Ein Token ist eine Verarbeitungseinheit, in die ein Sprachmodell Text zerlegt. Ein Token kann ein kurzes Wort, ein Wortteil, ein Satzzeichen oder sogar ein Leerzeichen sein. Modelle lesen und erzeugen Inhalte tokenweise; die Anzahl beeinflusst Kontextgrenzen, Rechenaufwand und bei vielen APIs auch die Kosten.
Was ist ein Token bei KI?
Bevor ein Sprachmodell Text verarbeitet, zerlegt ein sogenannter Tokenizer die Eingabe in kleine Einheiten. Diese Einheiten heißen Tokens. Zum Wortschatz eines Modells können ganze kurze Wörter, häufige Wortteile, einzelne Zeichen, Satzzeichen oder Leerraum gehören. Die Zuordnung zu Zahlen macht den Text für das Modell verarbeitbar. Bei der Ausgabe wählt das Modell wiederum schrittweise Tokens aus und setzt sie zu lesbarem Text zusammen.
Die genaue Aufteilung hängt vom Modell und seinem Tokenizer ab. Deshalb kann derselbe deutsche Satz bei zwei Modellen unterschiedlich viele Tokens belegen. Zum Eingabebudget zählen häufig nicht nur deine sichtbare Frage, sondern auch Systemanweisungen, Gesprächsverlauf, Dokumentauszüge und Werkzeugbeschreibungen. Anbieter weisen Eingabe, Ausgabe, Cache und weitere Verarbeitungsanteile je nach API getrennt aus. Für belastbare Kosten- oder Kontextplanung solltest du deshalb mit dem vorgesehenen Modell zählen statt Wörter pauschal umzurechnen.
Token im Klartext
So planst du Tokens ohne Schätzfehler
Häufige Fragen
Wie viele Tokens hat ein Wort?
Dafür gibt es keine feste Umrechnung. Ein kurzes häufiges Wort kann ein Token sein, ein längeres oder seltenes Wort kann aus mehreren Tokens bestehen. Auch Satzzeichen und Leerraum können eigene Einheiten bilden. Sprache, Schreibweise, Sonderzeichen und der verwendete Tokenizer verändern das Ergebnis. Verlässlich ist nur die Zählung mit dem vorgesehenen Modell.
Warum zählt jedes KI-Modell Tokens anders?
Modelle können unterschiedliche Wortschätze und Tokenisierungsverfahren verwenden. Ein Tokenizer wurde für bestimmte Daten, Sprachen und technische Ziele gebaut. Daher kann derselbe Satz in zwei Modellfamilien verschieden zerlegt werden. Bei einem Modellwechsel sollten Prompts, Dokumente und Kostenannahmen neu gezählt werden.
Was hat ein Token mit dem Kontextfenster zu tun?
Das Kontextfenster begrenzt, wie viele Verarbeitungseinheiten ein Modell in einer Anfrage berücksichtigen kann. Dazu gehören je nach Produkt Systemtext, Gesprächsverlauf, Dokumente, Werkzeugbeschreibungen und die Antwort. Wird das Budget überschritten, kann eine API die Anfrage ablehnen oder eine Anwendung Inhalte kürzen beziehungsweise zusammenfassen. Dieses Verhalten muss für das konkrete Produkt geprüft werden.
Bestimmen Tokens die Kosten einer KI-Anfrage?
Bei vielen Modell-APIs ja, aber nicht allein. Anbieter können Eingabe- und Ausgabetokens unterschiedlich berechnen und zusätzlich Cache-Nutzung, Werkzeuge, Medien oder feste Plattformkosten berücksichtigen. Preise ändern sich. Für eine Kalkulation zählen deshalb die aktuelle Preisseite, echte Nutzungsdaten und der vollständige Prozess statt einer pauschalen Wortformel.