Hiç Görmediğiniz Özel Tokenlar

Metninizin ve sistem isteminin ötesinde, yapay zeka konuşmayı yapılandıran görünmez işaretçiler olan özel belirteçler (tokens) kullanır. Bunlar <|user|>, <|assistant|> veya <|end|> gibi görünür, ancak tam format modele göre değişir.

Bu belirteçler (token'lar), her mesajın nerede başlayıp bittiğini ve kimin konuştuğunu işaretler. Onlar olmadan model sıranın kimde olduğunu bilemezdi. Onları asla yazmazsınız ve görmezsiniz, ancak bağlam penceresinde (context window) yer kaplarlar.

Boş bir konuşmanın bile sıfır token olmamasının ve token sayılarının bazen beklenenden biraz daha yüksek görünmesinin nedeni budur. Uzun karşılıklı konuşmalarda bu işaretçiler birikir; her mesaj sınırı kendi setini gerektirir.

Özel belirteçleri (tokens) doğrudan yönetmenize gerek yoktur. Ancak bunların var olduğunu bilmek, bu "ekstra" belirteçlerin nereden geldiğini açıklamaya yardımcı olur.