Kata ≠ Token

Kesalahan umum adalah menganggap bahwa satu kata sama dengan satu token. Tidak seperti itu cara kerjanya.

Kata cat adalah satu token. Namun, bagaimana dengan cats? Itu mungkin terdiri dari dua token: cat dan s. Kata hello adalah satu token, tetapi Hello dengan huruf H kapital mungkin ditokenisasi secara berbeda.

Spasi, tanda baca, dan penggunaan huruf kapital semuanya memengaruhi cara teks dipisahkan.

Berikut beberapa contoh yang mengejutkan:

Teks	Perkiraan token
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

Angka sangat rumit. Kamu mungkin mengira 1000 adalah satu token, tetapi angka itu bisa dipecah menjadi 100 dan 0, atau bahkan menjadi digit satu per satu. Inilah sebabnya AI terkadang kesulitan melakukan perhitungan yang akurat: AI tidak melihat angka seperti kamu.

Wawasan utamanya: jumlah token tidak dapat diprediksi jika kamu hanya menghitung kata. Prompt yang terdiri dari 100 kata mungkin menggunakan 130 token atau 150, bergantung pada kata-kata tertentu yang kamu pilih.

Setelah setiap balasan, chat menampilkan jumlah token input dan output yang digunakan. Bandingkan jumlah tersebut dengan jumlah kata, keduanya jarang cocok satu per satu.