Kelimeler ≠ Tokenlar
Coddy'nin AI Prompts Journey'sinin Temel Kavramlar bölümünün bir parçası. Ders 8 / 23.
Yaygın bir hata, bir sözcüğün bir belirtece eşit olduğunu varsaymaktır. İşler böyle yürümez.
cat sözcüğü tek bir belirteçtir. Peki ya cats? Bu, iki belirteç olabilir: cat ve s. hello sözcüğü tek bir belirteçtir, ancak büyük H harfiyle yazılan Hello farklı şekilde belirteçlere ayrılabilir.
Boşluklar, noktalama işaretleri ve büyük-küçük harf kullanımı metnin nasıl bölündüğünü etkiler.
İşte şaşırtıcı bazı örnekler:
| Metin | Yaklaşık Token Sayısı |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
Sayılar özellikle yanıltıcıdır. 1000 değerinin tek bir belirteç olduğunu düşünebilirsin, ancak bu değer 100 ve 0 olarak, hatta basamak basamak bölünebilir. Yapay zekânın kesin matematik işlemlerinde bazen zorlanmasının nedeni budur: sayıları senin gördüğün gibi görmez.
Temel çıkarım: yalnızca sözcükleri sayıyorsan token sayıları öngörülemez. 100 sözcüklük bir istem, seçtiğin sözcüklere bağlı olarak 130 ya da 150 token kullanabilir.
Her yanıttan sonra sohbet, kaç giriş ve çıkış belirteci kullandığını gösterir. Bu sayıları kelime sayısıyla karşılaştır: nadiren bire bir eşleşirler.
Kendin dene
Bu ders bir kod alıştırması içermiyor.
Bu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.
Temel Kavramlar bölümündeki tüm dersler
2Yapay Zekâ Sizi Nasıl Okur: Tokenlar
Tokenlar Nedir?Kelimeler ≠ TokenlarToken Sayıları Neden Önemlidir?Bağlam PenceresiDiğer Dillerde TokenlarHiç Görmediğiniz Özel Tokenlar