Token Sayıları Neden Önemlidir?

Tokenlar Üç Nedenden Dolayı Önemlidir

Maliyet. Yapay zeka servisleri token başına ücret alır ve çıktı token'ları girdi token'larından daha maliyetlidir. Uzun bir yanıt oluşturan geveze bir istem, kısa ve öz olandan daha maliyetlidir.

Hız. Yapay zeka, çıktıyı her seferinde bir token olacak şekilde üretir. Daha kısa yanıtlar daha hızlı döner.

Bağlam sınırları. Her modelin konuşma başına maksimum bir token kapasitesi (bağlam penceresi) vardır. Uzun istemler, yanıtlar için daha az yer bırakır.

İşte bu yüzden verimlilik önemlidir. "Lütfen Fransa'nın başkentinin neresi olduğunu bana ayrıntılı bir şekilde açıklayarak yardımcı olabilir misiniz?" (~20 token), "Fransa'nın başkenti neresidir?" (~7 token) ile aynı cevabı alır — hem de daha düşük maliyetle ve daha yüksek hızda.

Referans olması açısından, GPT-4o'nun maliyeti milyon girdi/çıktı token'ı başına yaklaşık 2,50$/10$'dır; Claude Sonnet ise 3$/15$ civarındadır. Bir milyon token yaklaşık 750.000 kelimeye tekabül eder, bu nedenle gündelik kullanım bile birikebilir.