Mengapa Jumlah Token Penting

Token Penting karena Tiga Alasan

Biaya. Layanan AI mengenakan biaya per token, dengan token output berbiaya lebih tinggi daripada token input. Prompt yang bertele-tele dan menghasilkan respons panjang lebih mahal daripada prompt yang ringkas.

Kecepatan. AI menghasilkan output satu token setiap kali. Respons yang lebih singkat muncul lebih cepat.

Batas konteks. Setiap model memiliki kapasitas token maksimum untuk setiap percakapan (jendela konteks). Prompt yang panjang menyisakan lebih sedikit ruang untuk respons.

Inilah alasan efisiensi itu penting. "Bisakah kamu membantu saya dengan menjelaskan secara sangat terperinci apa ibu kota Prancis?" (~20 token) mendapat jawaban yang sama dengan "Apa ibu kota Prancis?" (~7 token), dengan biaya lebih rendah dan lebih cepat.

Sebagai referensi, GPT-4o berharga sekitar $2.50/$10 per juta token input/output; Claude Sonnet berharga $3/$15. Satu juta token kira-kira setara dengan 750,000 kata, jadi penggunaan santai pun bisa menambah biaya.