I token nelle altre lingue

Fa parte della sezione Fondamenti del percorso AI Prompts di Coddy. Lezione 11 di 23.

La maggior parte dei modelli di IA è stata addestrata principalmente su testi in inglese. Questo ha una conseguenza sorprendente: le lingue diverse dall’inglese spesso usano più token per esprimere lo stesso significato.

La parola hello in inglese è in genere un token. Ma i suoi equivalenti in altre lingue potrebbero essere suddivisi diversamente:

Lingua	Parola	Token approssimativi
Inglese	`hello`	1
Spagnolo	`hola`	1
Giapponese	`こんにちは`	3-5
Arabo	`مرحبا`	2-4
Russo	`привет`	2-3

Le lingue con sistemi di scrittura non latini, come il cinese, il giapponese, il coreano, l'arabo o l'hindi, tendono a usare molti più gettoni. Una frase che richiede 10 gettoni in inglese potrebbe richiederne 20 o 30 in giapponese.

Questo è importante per ragioni pratiche. Se lavori in una lingua diversa dall’inglese, raggiungerai più rapidamente i limiti della finestra di contesto, le risposte potrebbero costare di più e la generazione potrebbe richiedere un po’ più di tempo. Non significa che l’IA sia peggiore in queste lingue. Semplicemente, le elabora in modo meno efficiente a livello di token.

Provalo tu

Questa lezione non include una sfida di codice.