Słowa ≠ tokeny

Częstym błędem jest założenie, że jedno słowo równa się jednemu tokenowi. To tak nie działa.

Słowo cat to jeden token. Ale cats? To mogą być dwa tokeny: cat i s. Słowo hello to jeden token, ale Hello z wielką literą H może być tokenizowane inaczej.

Spacje, interpunkcja i wielkość liter wpływają na sposób dzielenia tekstu.

Oto kilka zaskakujących przykładów:

Tekst	Przybliżona liczba tokenów
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Liczby są szczególnie podchwytliwe. Możesz pomyśleć, że 1000 to jeden token, ale może zostać podzielone na 100 i 0 albo nawet na pojedyncze cyfry. Dlatego AI czasami ma trudności z precyzyjnymi obliczeniami: nie widzi liczb tak jak ty.

Kluczowy wniosek: liczba tokenów jest nieprzewidywalna, jeśli po prostu liczysz słowa. Prompt składający się ze 100 słów może zużyć 130 tokenów albo 150, w zależności od konkretnych wybranych słów.

Po każdej odpowiedzi czat pokazuje, ile tokenów wejściowych i wyjściowych zostało użytych. Porównaj te liczby z liczbą słów: rzadko odpowiadają sobie jeden do jednego.