Tokens in anderen Sprachen
Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy. Lektion 11 von 23.
Die meisten KI-Modelle wurden hauptsächlich mit englischen Texten trainiert. Das hat eine überraschende Folge: In nicht englischen Sprachen werden für dieselbe Bedeutung oft mehr Tokens verwendet.
Das Wort hello besteht im Englischen normalerweise aus einem Token. Die Entsprechungen in anderen Sprachen können jedoch unterschiedlich aufgeteilt sein:
| Sprache | Wort | Ungefähre Anzahl an Tokens |
|---|---|---|
| Englisch | hello | 1 |
| Spanisch | hola | 2 |
| Japanisch | こんにちは | 1 |
| Arabisch | مرحبا | 3-5 |
| Russisch | привет | 3-4 |
Ein sehr häufiges Wort wie こんにちは kann trotzdem ein einzelnes Token sein, weil es häufig in den Texten vorkam, aus denen der Tokenizer erstellt wurde.
Sprachen mit nicht-lateinischen Schriftsystemen wie Chinesisch, Japanisch, Koreanisch, Arabisch oder Hindi benötigen tendenziell deutlich mehr Tokens. Ein Satz, der im Englischen 10 Tokens umfasst, kann im Japanischen 20 oder 30 Tokens erfordern.
Das ist aus praktischen Gründen wichtig. Wenn du in einer Sprache arbeitest, die nicht Englisch ist, stößt du schneller an die Grenzen des Kontextfensters, Antworten können mehr kosten und die Generierung kann etwas länger dauern. Mehr Tokens machen die KI nicht automatisch schlechter in einer Sprache, aber Modelle, die hauptsächlich mit englischen Texten trainiert wurden, liefern in Sprachen, die in ihren Trainingsdaten weniger häufig vorkamen, oft schwächere Antworten.
Probier es selbst
Diese Lektion enthält keine Programmieraufgabe.
Diese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.
Alle Lektionen in Grundlagen
2Wie KI dich liest: Tokens
Was sind Tokens?Wörter ≠ TokensWarum die Anzahl der Tokens wichtig istDas KontextfensterTokens in anderen SprachenSpezielle Tokens, die du nie siehst3Deine ersten Prompts schreiben
Die AI spricht Markdown (standardmäßig)Das Ausgabeformat steuernTon und Stil steuernWenn die AI dich ignoriert