Diğer Dillerde Tokenlar
Coddy'nin AI Prompts Journey'sinin Temeller bölümünün bir parçası — ders 11 / 23.
Çoğu yapay zeka modeli öncelikle İngilizce metinler üzerinde eğitilmiştir. Bunun şaşırtıcı bir sonucu vardır: İngilizce dışındaki diller aynı anlam için genellikle daha fazla token kullanır.
İngilizcede hello kelimesi genellikle bir tokendır. Ancak diğer dillerdeki karşılıkları farklı şekilde bölünebilir:
| Dil | Kelime | Yaklaşık Token Sayısı |
|---|---|---|
| İngilizce | hello | 1 |
| İspanyolca | hola | 1 |
| Japonca | こんにちは | 3-5 |
| Arapça | مرحبا | 2-4 |
| Rusça | привет | 2-3 |
Çince, Japonca, Korece, Arapça veya Hintçe gibi Latin alfabesi kullanmayan diller, önemli ölçüde daha fazla token kullanma eğilimindedir. İngilizcede 10 token tutan bir cümle, Japoncada 20 veya 30 token gerektirebilir.
Bu durum pratik nedenlerle önemlidir. İngilizce dışındaki bir dilde çalışıyorsanız, bağlam penceresi sınırlarına daha hızlı ulaşırsınız, yanıtlar daha maliyetli olabilir ve üretim biraz daha uzun sürebilir. Bu, yapay zekanın bu dillerde daha kötü olduğu anlamına gelmez; sadece onları token düzeyinde daha az verimli bir şekilde işler.
Kopya kağıdı
Öncelikle İngilizce metinler üzerinde eğitilen yapay zeka modelleri, İngilizce dışındaki diller için token'ları daha az verimli kullanır. Latin alfabesi dışındaki alfabeler (Çince, Japonca, Korece, Arapça, Hintçe) genellikle aynı anlam için önemli ölçüde daha fazla token gerektirir.
| Dil | Kelime | Yaklaşık Token Sayısı |
|---|---|---|
| İngilizce | hello | 1 |
| İspanyolca | hola | 1 |
| Japonca | こんにちは | 3-5 |
| Arapça | مرحبا | 2-4 |
| Rusça | привет | 2-3 |
Pratik sonuçlar: İngilizce dışındaki diller bağlam penceresi sınırlarına daha hızlı ulaşır, daha maliyetli olabilir ve oluşturulması biraz daha uzun sürebilir.
Kendin dene
Bu ders bir kod alıştırması içermiyor.
Kendini test etBu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.
Temeller bölümündeki tüm dersler
2Yapay Zeka Sizi Nasıl Okur — Tokenlar
Tokenlar Nedir?Kelimeler ≠ TokenlarToken Sayıları Neden Önemlidir?Bağlam PenceresiDiğer Dillerde TokenlarHiç Görmediğiniz Özel Tokenlar