Dlaczego liczba tokenów ma znaczenie

Część sekcji Podstawy ścieżki AI Prompts w Coddy. Lekcja 9 z 23.

Żetony są ważne z trzech powodów

Koszt. Usługi AI pobierają opłaty za token, a tokeny wyjściowe kosztują więcej niż wejściowe. Rozbudowany prompt generujący długą odpowiedź kosztuje więcej niż zwięzły.

Szybkość. AI generuje wynik po jednym tokenie naraz. Krótsze odpowiedzi pojawiają się szybciej.

Ograniczenia kontekstu. Każdy model ma maksymalny limit tokenów na rozmowę (okno kontekstu). Długie prompty pozostawiają mniej miejsca na odpowiedzi.

Właśnie dlatego wydajność ma znaczenie. „Czy możesz mi pomóc, szczegółowo wyjaśniając, jakie jest miasto stołeczne Francji?” (~20 żetonów) daje taką samą odpowiedź jak „Jaka jest stolica Francji?” (~7 żetonów), przy niższym koszcie i większej szybkości.

Dla porównania, GPT-4o kosztuje około 2,50/10 USD za milion tokenów wejściowych/wyjściowych; Claude Sonnet kosztuje 3/15 USD. Milion tokenów to mniej więcej 750 000 słów, więc nawet sporadyczne korzystanie może sporo kosztować.

Spróbuj swoich sił

Ta lekcja nie zawiera wyzwania z kodem.

Sprawdź się

Ta lekcja zawiera krótki quiz. Zacznij lekcję, żeby na niego odpowiedzieć i śledzić swoje postępy.

Wszystkie lekcje w sekcji Podstawy

1Witamy w erze AI

Czym właściwie jest AI?AI to nie Google AI nie jest człowiekiem Twoje pierwsze prawdziwe zadanie AI może się mylić Czym jest „model”?

4Prompt systemowy

Czym jest prompt systemowy?Ustalanie osobowości i roli Ustalanie reguł i ograniczeń Prompt systemowy a prompt użytkownika Konflikty promptu systemowego Tworzenie promptu systemowego Iniekcja promptu systemowego

2Jak AI cię czyta: tokeny

Czym są tokeny?Słowa ≠ tokenyDlaczego liczba tokenów ma znaczenieOkno kontekstu Tokeny w innych językach Specjalne tokeny, których nigdy nie widzisz

3Pisanie pierwszych promptów

AI domyślnie mówi w Markdown Kontrolowanie formatu wyjściowego Kontrolowanie tonu i stylu Gdy AI cię ignoruje