Kelimeler ≠ Token’lar

Yaygın bir hata, bir sözcüğün bir belirtece eşit olduğunu varsaymaktır. İşler böyle yürümez.

cat sözcüğü tek bir belirteçtir. Peki ya cats? Bu, iki belirteç olabilir: cat ve s. hello sözcüğü tek bir belirteçtir, ancak baş harfi büyük H olan Hello farklı şekilde belirteçlere ayrılabilir.

Boşluklar, noktalama işaretleri ve büyük-küçük harf kullanımı metnin nasıl bölündüğünü etkiler.

İşte şaşırtıcı örnekler:

Metin	Yaklaşık Token Sayısı
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Sayılar özellikle yanıltıcıdır. 1000 değerinin tek bir belirteç olduğunu düşünebilirsin, ancak 100 ve 0 olarak, hatta basamak basamak bölünmüş olabilir. Bu yüzden yapay zekâ bazen hassas matematik işlemlerinde zorlanır: sayıları senin gördüğün şekilde görmez.

Temel çıkarım: Yalnızca kelimeleri sayıyorsan token sayıları tahmin edilemez. 100 kelimelik bir istem, seçtiğin belirli kelimelere bağlı olarak 130 ya da 150 token kullanabilir.

Her yanıttan sonra sohbet, kaç girdi ve çıktı belirteci kullandığını gösterir. Bu sayıları kelime sayısıyla karşılaştır: genellikle bire bir örtüşmezler.