Specjalne tokeny, których nigdy nie widzisz

Oprócz Twojego tekstu i promptu systemowego AI używa specjalnych tokenów: niewidocznych znaczników, które nadają strukturę rozmowie. Wyglądają mniej więcej tak: <|user|>, <|assistant|> lub <|end|>, choć dokładny format różni się w zależności od modelu.

Te żetony oznaczają, gdzie zaczyna się i kończy każda wiadomość oraz kto mówi. Bez nich model nie wiedziałby, czyja jest kolej. Nigdy ich nie wpisujesz i ich nie widzisz, ale zajmują miejsce w oknie kontekstu.

Dlatego nawet pusta rozmowa nie zawiera zero żetonów i dlatego liczba żetonów czasami wydaje się nieco wyższa, niż można się spodziewać. W długich rozmowach, w których uczestnicy wymieniają się wiadomościami, te znaczniki się kumulują: każda granica wiadomości wymaga własnego zestawu.

Nie musisz zarządzać specjalnymi tokenami bezpośrednio. Wiedza o ich istnieniu pomaga jednak wyjaśnić, skąd biorą się te „dodatkowe” tokeny.