Diğer Dillerde Tokenlar

Coddy'nin AI Prompts Journey'sinin Temeller bölümünün bir parçası. Ders 11 / 23.

Çoğu yapay zekâ modeli öncelikli olarak İngilizce metinler üzerinde eğitilmiştir. Bunun şaşırtıcı bir sonucu vardır: İngilizce dışındaki diller aynı anlam için genellikle daha fazla belirteç kullanır.

İngilizcedeki hello kelimesi genellikle tek bir belirteçtir. Ancak diğer dillerdeki karşılıkları farklı şekilde bölünebilir:

Dil	Kelime	Yaklaşık Belirteç Sayısı
İngilizce	`hello`	1
İspanyolca	`hola`	1
Japonca	`こんにちは`	3-5
Arapça	`مرحبا`	2-4
Rusça	`привет`	2-3

Çince, Japonca, Korece, Arapça veya Hintçe gibi Latin alfabesi kullanmayan diller, genellikle önemli ölçüde daha fazla belirteç kullanır. İngilizcede 10 belirteç gerektiren bir cümle, Japoncada 20 veya 30 belirteç gerektirebilir.

Bu, pratik nedenlerle önemlidir. İngilizce olmayan bir dille çalışıyorsanız bağlam penceresi sınırlarına daha hızlı ulaşırsınız, yanıtlar daha pahalıya mal olabilir ve oluşturma işlemi biraz daha uzun sürebilir. Bunun nedeni yapay zekânın bu dillerde daha kötü olması değildir. Yalnızca bunları belirteç düzeyinde daha az verimli işler.

Kendin dene

Bu ders bir kod alıştırması içermiyor.