Diğer Dillerde Tokenlar
Coddy'nin AI Prompts Journey'sinin Temel Kavramlar bölümünün bir parçası. Ders 11 / 23.
Çoğu yapay zekâ modeli öncelikli olarak İngilizce metinlerle eğitilmiştir. Bunun şaşırtıcı bir sonucu vardır: İngilizce dışındaki dillerde aynı anlam için çoğu zaman daha fazla belirteç kullanılır.
İngilizcedeki hello sözcüğü genellikle tek bir belirteçtir. Ancak diğer dillerdeki karşılıkları farklı biçimlerde bölünebilir:
| Dil | Sözcük | Yaklaşık Belirteç Sayısı |
|---|---|---|
| İngilizce | hello | 1 |
| İspanyolca | hola | 2 |
| Japonca | こんにちは | 1 |
| Arapça | مرحبا | 3-5 |
| Rusça | привет | 3-4 |
こんにちは gibi çok yaygın bir sözcük, belirteçleyicinin oluşturulduğu metinde sıkça geçtiği için yine de tek bir belirteç olabilir.
Çince, Japonca, Korece, Arapça veya Hintçe gibi Latin alfabesi dışındaki yazı sistemlerini kullanan diller, genellikle çok daha fazla belirteç kullanır. İngilizcede 10 belirteçten oluşan bir cümle, Japoncada 20 veya 30 belirteç gerektirebilir.
Bu, pratik nedenlerden dolayı önemlidir. İngilizce olmayan bir dilde çalışıyorsan bağlam penceresi sınırlarına daha çabuk ulaşırsın, yanıtlar daha pahalıya mal olabilir ve yanıt oluşturma biraz daha uzun sürebilir. Daha fazla belirteç kullanmak tek başına yapay zekânın bir dilde daha kötü olmasına yol açmaz, ancak çoğunlukla İngilizce metinlerle eğitilmiş modeller, eğitim verilerinde daha az yer alan dillerde gerçekten de daha zayıf yanıtlar verebilir.
Kendin dene
Bu ders bir kod alıştırması içermiyor.
Bu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.
Temel Kavramlar bölümündeki tüm dersler
2Yapay Zekâ Sizi Nasıl Okur: Tokenlar
Tokenlar Nedir?Kelimeler ≠ TokenlarToken Sayıları Neden Önemlidir?Bağlam PenceresiDiğer Dillerde TokenlarHiç Görmediğiniz Özel Tokenlar