Kelimeler ≠ Tokenlar

Yaygın bir hata, bir kelimenin bir token'a eşit olduğunu varsaymaktır. İşler bu şekilde yürümez.

cat kelimesi tek bir tokendır. Peki ya cats? Bu iki token olabilir: cat ve s. hello kelimesi tek bir tokendır, ancak büyük H harfi ile Hello farklı şekilde tokenize edilebilir.

Boşluklar, noktalama işaretleri ve büyük/küçük harf kullanımı, metnin nasıl bölündüğünü etkiler.

İşte bazı şaşırtıcı örnekler:

Sayılar özellikle yanıltıcıdır. 1000 sayısının tek bir token olduğunu düşünebilirsiniz, ancak 100 ve 0 olarak, hatta basamak basamak ayrılabilir. Yapay zekanın bazen kesin matematik işlemlerinde zorlanmasının nedeni budur; sayıları sizin gördüğünüz gibi görmez.

Temel içgörü: token sayıları öngörülemezdir eğer sadece kelimeleri sayıyorsanız. 100 kelimelik bir istem (prompt), seçtiğiniz belirli kelimelere bağlı olarak 130 veya 150 token kullanabilir.

Yazarken sohbet panelindeki jeton sayacını izleyin—kelime başına tam olarak bir artmadığını göreceksiniz.