Dlaczego liczba tokenów ma znaczenie

Żetony mają znaczenie z trzech powodów

Koszt. Usługi AI pobierają opłaty za żetony, przy czym żetony wyjściowe kosztują więcej niż wejściowe. Rozbudowany prompt generujący długą odpowiedź kosztuje więcej niż zwięzły.

Szybkość. AI generuje wynik token po tokenie. Krótsze odpowiedzi pojawiają się szybciej.

Ograniczenia kontekstu. Każdy model ma maksymalną liczbę tokenów na rozmowę (okno kontekstu). Długie prompty pozostawiają mniej miejsca na odpowiedzi.

Dlatego wydajność ma znaczenie. „Czy możesz mi pomóc, szczegółowo wyjaśniając, jakie jest miasto stołeczne Francji?” (~20 żetonów) daje taką samą odpowiedź jak „Jakie jest miasto stołeczne Francji?” (~7 żetonów), przy niższym koszcie i większej szybkości.

Dla porównania, GPT-4o kosztuje około 2,50 $/10 $ za milion tokenów wejściowych/wyjściowych; Claude Sonnet kosztuje 3 $/15 $. Milion tokenów to mniej więcej 750 000 słów, więc nawet okazjonalne korzystanie szybko się sumuje.