Tokens in anderen Sprachen
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy — Lektion 11 von 23.
Die meisten KI-Modelle wurden primär mit englischen Texten trainiert. Dies hat eine überraschende Konsequenz: nicht-englische Sprachen verwenden oft mehr Token für dieselbe Bedeutung.
Das Wort hello ist im Englischen normalerweise ein Token. Aber seine Entsprechungen in anderen Sprachen könnten unterschiedlich aufgeteilt sein:
| Sprache | Wort | Ungefähre Token |
|---|---|---|
| Englisch | hello | 1 |
| Spanisch | hola | 1 |
| Japanisch | こんにちは | 3-5 |
| Arabisch | مرحبا | 2-4 |
| Russisch | привет | 2-3 |
Sprachen mit nicht-lateinischen Schriften – wie Chinesisch, Japanisch, Koreanisch, Arabisch oder Hindi – neigen dazu, deutlich mehr Token zu verwenden. Ein Satz, der im Englischen 10 Token benötigt, könnte im Japanischen 20 oder 30 Token erfordern.
Dies ist aus praktischen Gründen von Bedeutung. Wenn Sie in einer anderen Sprache als Englisch arbeiten, erreichen Sie die Grenzen des Kontextfensters schneller, Antworten können mehr kosten und die Generierung kann etwas länger dauern. Es liegt nicht daran, dass die KI in diesen Sprachen schlechter ist – sie verarbeitet sie lediglich auf Token-Ebene weniger effizient.
Spickzettel
KI-Modelle, die primär auf englischen Texten trainiert wurden, verwenden Token für nicht-englische Sprachen weniger effizient. Nicht-lateinische Schriften (Chinesisch, Japanisch, Koreanisch, Arabisch, Hindi) benötigen in der Regel deutlich mehr Token für dieselbe Bedeutung.
| Sprache | Wort | Ungefähre Token |
|---|---|---|
| Englisch | hello | 1 |
| Spanisch | hola | 1 |
| Japanisch | こんにちは | 3-5 |
| Arabisch | مرحبا | 2-4 |
| Russisch | привет | 2-3 |
Praktische Auswirkungen: Nicht-englische Sprachen erreichen die Grenzen des Kontextfensters schneller, können höhere Kosten verursachen und die Generierung dauert etwas länger.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Teste dich selbstDiese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie die KI dich liest – Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Token-Anzahl wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die man nie sieht3Deine ersten Prompts schreiben
KI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTonfall und Stil steuernWenn die KI dich ignoriert