Słowa ≠ tokeny

Częstym błędem jest założenie, że jedno słowo równa się jednemu tokenowi. To tak nie działa.

Słowo cat to jeden token. A cats? To mogą być dwa tokeny: cat i s. Słowo hello to jeden token, ale Hello z wielką literą H może być tokenizowane inaczej.

Spacje, interpunkcja i wielkie litery wpływają na to, jak tekst jest dzielony.

Oto kilka zaskakujących przykładów:

Tekst	Przybliżona liczba tokenów
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Liczby są szczególnie podchwytliwe. Możesz myśleć, że 1000 to jeden token, ale może zostać podzielone na 100 i 0, a nawet na pojedyncze cyfry. Dlatego AI czasami ma trudności z dokładnymi obliczeniami: nie widzi liczb tak jak ty.

Kluczowa obserwacja: liczba żetonów jest nieprzewidywalna, jeśli po prostu liczysz słowa. Prompt składający się ze 100 słów może zużyć 130 albo 150 żetonów, w zależności od wybranych słów.

Obserwuj licznik żetonów w panelu czatu podczas pisania: zauważysz, że nie zwiększa się dokładnie o jeden przy każdym słowie.