Hiç Görmediğiniz Özel Tokenlar

Metninizin ve sistem isteminin ötesinde, yapay zekâ konuşmayı yapılandıran özel belirteçler kullanır: görünmez işaretleyiciler. Bunlar <|user|>, <|assistant|> veya <|end|> gibi görünür; ancak tam biçim modele göre değişir.

Bu belirteçler her mesajın nerede başlayıp bittiğini ve kimin konuştuğunu belirtir. Bunlar olmadan model kimin sırası olduğunu bilemezdi. Onları asla yazmazsınız ve görmezsiniz, ancak bağlam penceresinde yer kaplarlar.

Bu nedenle boş bir konuşma bile sıfır token değildir ve token sayıları bazen beklenenden biraz daha yüksek görünür. Uzun karşılıklı konuşmalarda bu işaretler birikir: her mesaj sınırı kendi kümesini gerektirir.

Özel belirteçleri doğrudan yönetmeniz gerekmez. Ancak bunların var olduğunu bilmek, bu "ekstra" belirteçlerin nereden geldiğini açıklamaya yardımcı olur.