Menu
CoddyTech

Kelimeler ≠ Tokenlar

Coddy'nin AI Prompts Journey'sinin Temel Kavramlar bölümünün bir parçası. Ders 8 / 23.

Yaygın bir hata, bir sözcüğün bir belirtece eşit olduğunu varsaymaktır. İşler böyle yürümez.

cat sözcüğü tek bir belirteçtir. Peki ya cats? Bu, iki belirteç olabilir: cat ve s. hello sözcüğü tek bir belirteçtir, ancak büyük H harfiyle yazılan Hello farklı şekilde belirteçlere ayrılabilir.

Boşluklar, noktalama işaretleri ve büyük-küçük harf kullanımı metnin nasıl bölündüğünü etkiler.

İşte şaşırtıcı bazı örnekler:

MetinYaklaşık Token Sayısı
dog1
dogs1-2
extraordinary2-3
1234562-6
!!!1-3

Sayılar özellikle yanıltıcıdır. 1000 değerinin tek bir belirteç olduğunu düşünebilirsin, ancak bu değer 100 ve 0 olarak, hatta basamak basamak bölünebilir. Yapay zekânın kesin matematik işlemlerinde bazen zorlanmasının nedeni budur: sayıları senin gördüğün gibi görmez.

Temel çıkarım: yalnızca sözcükleri sayıyorsan token sayıları öngörülemez. 100 sözcüklük bir istem, seçtiğin sözcüklere bağlı olarak 130 ya da 150 token kullanabilir.

Her yanıttan sonra sohbet, kaç giriş ve çıkış belirteci kullandığını gösterir. Bu sayıları kelime sayısıyla karşılaştır: nadiren bire bir eşleşirler.

Kendin dene

Bu ders bir kod alıştırması içermiyor.

quiz iconKendini test et

Bu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.

Temel Kavramlar bölümündeki tüm dersler