Menu
CoddyTech

Tokens in anderen Sprachen

Teil des Abschnitts Grundlagen der AI Prompts-Journey von Coddy. Lektion 11 von 23.

Die meisten KI-Modelle wurden hauptsächlich mit englischen Texten trainiert. Das hat eine überraschende Folge: In nicht englischen Sprachen werden für dieselbe Bedeutung oft mehr Tokens verwendet.

Das Wort hello besteht im Englischen normalerweise aus einem Token. Die Entsprechungen in anderen Sprachen können jedoch unterschiedlich aufgeteilt sein:

SpracheWortUngefähre Anzahl an Tokens
Englischhello1
Spanischhola2
Japanischこんにちは1
Arabischمرحبا3-5
Russischпривет3-4

Ein sehr häufiges Wort wie こんにちは kann trotzdem ein einzelnes Token sein, weil es häufig in den Texten vorkam, aus denen der Tokenizer erstellt wurde.

Sprachen mit nicht-lateinischen Schriftsystemen wie Chinesisch, Japanisch, Koreanisch, Arabisch oder Hindi benötigen tendenziell deutlich mehr Tokens. Ein Satz, der im Englischen 10 Tokens umfasst, kann im Japanischen 20 oder 30 Tokens erfordern.

Das ist aus praktischen Gründen wichtig. Wenn du in einer Sprache arbeitest, die nicht Englisch ist, stößt du schneller an die Grenzen des Kontextfensters, Antworten können mehr kosten und die Generierung kann etwas länger dauern. Mehr Tokens machen die KI nicht automatisch schlechter in einer Sprache, aber Modelle, die hauptsächlich mit englischen Texten trainiert wurden, liefern in Sprachen, die in ihren Trainingsdaten weniger häufig vorkamen, oft schwächere Antworten.

Probier es selbst

Diese Lektion enthält keine Programmieraufgabe.

quiz iconTeste dich selbst

Diese Lektion enthält ein kurzes Quiz. Starte die Lektion, um es zu beantworten und deinen Fortschritt zu speichern.

Alle Lektionen in Grundlagen