Kata ≠ Token
Termasuk bagian Dasar-Dasar dalam perjalanan AI Prompts di Coddy. Pelajaran 8 dari 23.
Kesalahan yang umum terjadi adalah menganggap bahwa satu kata sama dengan satu token. Kenyataannya tidak seperti itu.
Kata cat adalah satu token. Namun, bagaimana dengan cats? Kata itu mungkin terdiri dari dua token: cat dan s. Kata hello adalah satu token, tetapi Hello dengan huruf H kapital mungkin ditokenisasi dengan cara berbeda.
Spasi, tanda baca, dan penggunaan huruf kapital memengaruhi cara teks dipisahkan.
Berikut beberapa contoh yang mengejutkan:
| Teks | Perkiraan Token |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
Angka sangat rumit. Kamu mungkin mengira 1000 adalah satu token, tetapi angka itu bisa dipecah menjadi 100 dan 0, atau bahkan menjadi digit satu per satu. Inilah sebabnya AI terkadang kesulitan melakukan perhitungan matematika dengan tepat: AI tidak melihat angka seperti kamu.
Inti pentingnya: jumlah token tidak dapat diprediksi jika kamu hanya menghitung kata. Prompt 100 kata mungkin menggunakan 130 token atau 150, tergantung kata tertentu yang kamu pilih.
Setelah setiap balasan, chat menampilkan jumlah token input dan output yang digunakan. Bandingkan jumlah tersebut dengan jumlah kata: biasanya jumlahnya tidak sama satu per satu.
Coba sendiri
Pelajaran ini tidak memiliki tantangan kode.
Pelajaran ini berisi kuis singkat. Mulai pelajarannya untuk menjawab kuis dan melacak progresmu.
Semua pelajaran di Dasar-Dasar
2Cara AI Membaca Kamu: Token
Apa Itu Token?Kata ≠ TokenMengapa Jumlah Token PentingJendela KonteksToken dalam Bahasa LainToken Khusus yang Tidak Pernah Kamu Lihat