Tokeny w innych językach
Część sekcji Podstawy ścieżki AI Prompts w Coddy. Lekcja 11 z 23.
Większość modeli AI została wytrenowana głównie na tekstach w języku angielskim. Ma to zaskakującą konsekwencję: języki inne niż angielski często wymagają więcej tokenów, aby przekazać to samo znaczenie.
Słowo hello w języku angielskim to zazwyczaj jeden token. Jego odpowiedniki w innych językach mogą być jednak dzielone inaczej:
| Język | Słowo | Przybliżona liczba tokenów |
|---|---|---|
| Angielski | hello | 1 |
| Hiszpański | hola | 1 |
| Japoński | こんにちは | 3-5 |
| Arabski | مرحبا | 2-4 |
| Rosyjski | привет | 2-3 |
Języki używające alfabetów niełacińskich, takie jak chiński, japoński, koreański, arabski czy hindi, zwykle zużywają znacznie więcej żetonów. Zdanie, które po angielsku zajmuje 10 żetonów, po japońsku może wymagać 20 lub 30 żetonów.
Ma to znaczenie z praktycznych powodów. Jeśli pracujesz w języku innym niż angielski, szybciej osiągniesz limity okna kontekstowego, odpowiedzi mogą być droższe, a generowanie może potrwać nieco dłużej. Nie oznacza to, że AI gorzej radzi sobie z tymi językami. Po prostu przetwarza je mniej wydajnie na poziomie tokenów.
Spróbuj swoich sił
Ta lekcja nie zawiera wyzwania z kodem.
Sprawdź sięTa lekcja zawiera krótki quiz. Zacznij lekcję, żeby na niego odpowiedzieć i śledzić swoje postępy.
Wszystkie lekcje w sekcji Podstawy
2Jak AI Cię odczytuje — tokeny
Czym są tokeny?Słowa ≠ tokenyDlaczego liczba tokenów ma znaczenieOkno kontekstuTokeny w innych językachSpecjalne tokeny, których nigdy nie widzisz3Pisanie pierwszych promptów
AI domyślnie mówi w MarkdownKontrolowanie formatu wyjściowegoKontrolowanie tonu i styluGdy AI cię ignoruje