Tokeny w innych językach

Większość modeli AI była trenowana głównie na tekstach w języku angielskim. Ma to zaskakujący skutek: języki inne niż angielski często wymagają więcej tokenów, aby wyrazić to samo znaczenie.

Słowo hello w języku angielskim to zazwyczaj jeden token. Jednak jego odpowiedniki w innych językach mogą być dzielone inaczej:

Nawet bardzo popularne słowo, takie jak こんにちは, może być pojedynczym tokenem, ponieważ często występowało w tekstach, na podstawie których utworzono tokenizator.

Języki używające alfabetów niełacińskich, takie jak chiński, japoński, koreański, arabski czy hindi, zazwyczaj wymagają znacznie większej liczby tokenów. Zdanie, które w języku angielskim zajmuje 10 tokenów, może wymagać 20 lub 30 tokenów w języku japońskim.

Ma to znaczenie z praktycznych powodów. Jeśli pracujesz w języku innym niż angielski, szybciej osiągniesz limity okna kontekstu, odpowiedzi mogą kosztować więcej, a generowanie może potrwać nieco dłużej. Większa liczba tokenów sama w sobie nie sprawia, że AI gorzej radzi sobie z danym językiem, ale modele trenowane głównie na tekstach angielskich często rzeczywiście udzielają słabszych odpowiedzi w językach, które rzadziej występowały w ich danych treningowych.