Token Sayıları Neden Önemlidir?

Token'lar Üç Nedenden Önemlidir

Maliyet. Yapay zekâ hizmetleri belirteç başına ücret alır; çıktı belirteçlerinin maliyeti, girdi belirteçlerinden daha yüksektir. Uzun bir yanıt oluşturan sohbetli bir istem, özlü bir istemden daha pahalıya mal olur.

Hız. Yapay zekâ çıktıyı her seferinde bir belirteç olacak şekilde oluşturur. Daha kısa yanıtlar daha hızlı gelir.

Bağlam sınırları. Her modelin konuşma başına maksimum belirteç kapasitesi vardır (bağlam penceresi). Uzun istemler, yanıtlar için daha az yer bırakır.

Verimlilik bu nedenle önemlidir. "Lütfen Fransa'nın başkentinin ne olduğunu ayrıntılı bir şekilde açıklayarak bana yardımcı olabilir misin?" (~20 belirteç), daha düşük maliyetle ve daha yüksek hızla "Fransa'nın başkenti nedir?" (~7 belirteç) ile aynı yanıtı alır.

Referans olarak, GPT-4o milyon giriş/çıkış belirteci başına yaklaşık $2.50/$10 tutarındadır; Claude Sonnet ise $3/$15 tutarındadır. Bir milyon belirteç yaklaşık 750.000 kelimedir, bu nedenle gündelik kullanımda bile maliyet birikir.