Menu
CoddyTech

Diğer Dillerde Tokenlar

Coddy'nin AI Prompts Journey'sinin Temel Kavramlar bölümünün bir parçası. Ders 11 / 23.

Çoğu yapay zekâ modeli öncelikli olarak İngilizce metinlerle eğitilmiştir. Bunun şaşırtıcı bir sonucu vardır: İngilizce dışındaki dillerde aynı anlam için çoğu zaman daha fazla belirteç kullanılır.

İngilizcedeki hello sözcüğü genellikle tek bir belirteçtir. Ancak diğer dillerdeki karşılıkları farklı biçimlerde bölünebilir:

DilSözcükYaklaşık Belirteç Sayısı
İngilizcehello1
İspanyolcahola2
Japoncaこんにちは1
Arapçaمرحبا3-5
Rusçaпривет3-4

こんにちは gibi çok yaygın bir sözcük, belirteçleyicinin oluşturulduğu metinde sıkça geçtiği için yine de tek bir belirteç olabilir.

Çince, Japonca, Korece, Arapça veya Hintçe gibi Latin alfabesi dışındaki yazı sistemlerini kullanan diller, genellikle çok daha fazla belirteç kullanır. İngilizcede 10 belirteçten oluşan bir cümle, Japoncada 20 veya 30 belirteç gerektirebilir.

Bu, pratik nedenlerden dolayı önemlidir. İngilizce olmayan bir dilde çalışıyorsan bağlam penceresi sınırlarına daha çabuk ulaşırsın, yanıtlar daha pahalıya mal olabilir ve yanıt oluşturma biraz daha uzun sürebilir. Daha fazla belirteç kullanmak tek başına yapay zekânın bir dilde daha kötü olmasına yol açmaz, ancak çoğunlukla İngilizce metinlerle eğitilmiş modeller, eğitim verilerinde daha az yer alan dillerde gerçekten de daha zayıf yanıtlar verebilir.

Kendin dene

Bu ders bir kod alıştırması içermiyor.

quiz iconKendini test et

Bu ders kısa bir quiz içerir. Soruları yanıtlamak ve ilerlemeni kaydetmek için derse başla.

Temel Kavramlar bölümündeki tüm dersler