Hiç Görmediğiniz Özel Tokenlar
Coddy'nin AI Prompts Journey'sinin Temeller bölümünün bir parçası — ders 12 / 23.
Metninizin ve sistem isteminin ötesinde, yapay zeka konuşmayı yapılandıran görünmez işaretçiler olan özel belirteçler (tokens) kullanır. Bunlar <|user|>, <|assistant|> veya <|end|> gibi görünür, ancak tam format modele göre değişir.
Bu belirteçler (token'lar), her mesajın nerede başlayıp bittiğini ve kimin konuştuğunu işaretler. Onlar olmadan model sıranın kimde olduğunu bilemezdi. Onları asla yazmazsınız ve görmezsiniz, ancak bağlam penceresinde (context window) yer kaplarlar.
Boş bir konuşmanın bile sıfır token olmamasının ve token sayılarının bazen beklenenden biraz daha yüksek görünmesinin nedeni budur. Uzun karşılıklı konuşmalarda bu işaretçiler birikir; her mesaj sınırı kendi setini gerektirir.
Özel belirteçleri (tokens) doğrudan yönetmenize gerek yoktur. Ancak bunların var olduğunu bilmek, bu "ekstra" belirteçlerin nereden geldiğini açıklamaya yardımcı olur.
Kopya kağıdı
Yapay zeka konuşmaları, konuşmayı yapılandıran <|user|>, <|assistant|> veya <|end|> gibi görünmez işaretçiler olan özel belirteçler kullanır.
Bu belirteçler mesaj sınırlarını işaretler ve konuşmacıları tanımlar. Bağlam penceresinde yer kaplarlar, bu yüzden:
- Boş konuşmalar sıfır belirteç değildir
- Belirteç sayıları beklenenden yüksek görünebilir
- Uzun konuşmalar, mesaj sınırlarından kaynaklanan ek yük biriktirir
Özel belirteçleri doğrudan yönetmezsiniz, ancak bunları anlamak "ekstra" belirteçlerin nereden geldiğini açıklar.
Kendin dene
Bu ders bir kod alıştırması içermiyor.
Kendini test etBu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.
Temeller bölümündeki tüm dersler
2Yapay Zeka Sizi Nasıl Okur — Tokenlar
Tokenlar Nedir?Kelimeler ≠ TokenlarToken Sayıları Neden Önemlidir?Bağlam PenceresiDiğer Dillerde TokenlarHiç Görmediğiniz Özel Tokenlar