I token in altre lingue

La maggior parte dei modelli di IA è stata addestrata principalmente su testi in inglese. Questo ha una conseguenza sorprendente: le lingue diverse dall’inglese spesso usano più token per esprimere lo stesso significato.

La parola hello in inglese è in genere un singolo token. Ma i suoi equivalenti in altre lingue potrebbero essere suddivisi in modo diverso:

Una parola molto comune come こんにちは può comunque essere un singolo token, perché compariva spesso nei testi usati per creare il tokenizer.

Le lingue con sistemi di scrittura non latini, come il cinese, il giapponese, il coreano, l’arabo o l’hindi, tendono a usare molti più gettoni. Una frase che richiede 10 gettoni in inglese potrebbe richiederne 20 o 30 in giapponese.

Questo è importante per ragioni pratiche. Se lavori in una lingua diversa dall’inglese, raggiungerai più rapidamente i limiti della finestra di contesto, le risposte potrebbero costare di più e la generazione potrebbe richiedere un po’ più di tempo. Usare più gettoni non rende di per sé l’IA meno capace in una lingua, ma i modelli addestrati principalmente su testi in inglese spesso forniscono risposte più deboli nelle lingue meno presenti nei dati di addestramento.