Kelimeler ≠ Tokenlar

Yaygın bir hata, bir kelimenin bir belirtece eşit olduğunu varsaymaktır. Bu şekilde çalışmaz.

cat kelimesi bir belirteçtir. Peki ya cats? Bu, iki belirteç olabilir: cat ve s. hello kelimesi bir belirteçtir, ancak büyük H harfiyle yazılan Hello farklı şekilde belirteçlere ayrılabilir.

Boşluklar, noktalama işaretleri ve büyük-küçük harf kullanımı metnin nasıl bölüneceğini etkiler.

İşte bazı şaşırtıcı örnekler:

Metin	Yaklaşık Token Sayısı
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Sayılar özellikle zordur. 1000 değerinin tek bir belirteç olduğunu düşünebilirsin, ancak bu değer 100 ve 0 olarak ikiye ayrılabilir veya hatta basamak basamak bölünebilir. Yapay zekânın kesin matematik işlemlerinde bazen zorlanmasının nedeni budur: Sayıları senin gördüğün şekilde görmez.

Temel çıkarım: Yalnızca kelimeleri sayıyorsanız token sayıları öngörülemezdir. 100 kelimelik bir istem, seçtiğiniz belirli kelimelere bağlı olarak 130 veya 150 token kullanabilir.

Yazarken sohbet panelindeki belirteç sayacını izleyin: her kelime başına tam olarak bir artmadığını göreceksiniz.