Token dalam Bahasa Lain
Termasuk bagian Dasar-Dasar dalam perjalanan AI Prompts di Coddy. Pelajaran 11 dari 23.
Sebagian besar model AI dilatih terutama menggunakan teks berbahasa Inggris. Hal ini memiliki konsekuensi yang mengejutkan: bahasa selain bahasa Inggris sering menggunakan lebih banyak token untuk makna yang sama.
Kata hello dalam bahasa Inggris biasanya terdiri dari satu token. Namun, padanannya dalam bahasa lain mungkin terbagi secara berbeda:
| Bahasa | Kata | Perkiraan token |
|---|---|---|
| Bahasa Inggris | hello | 1 |
| Bahasa Spanyol | hola | 2 |
| Bahasa Jepang | こんにちは | 1 |
| Bahasa Arab | مرحبا | 3-5 |
| Bahasa Rusia | привет | 3-4 |
Kata yang sangat umum seperti こんにちは tetap bisa menjadi satu token karena kata tersebut sering muncul dalam teks yang digunakan untuk membuat tokenizer.
Bahasa dengan aksara non-Latin, seperti Chinese, Japanese, Korean, Arabic, atau Hindi, cenderung menggunakan jauh lebih banyak token. Kalimat yang membutuhkan 10 token dalam bahasa Inggris mungkin membutuhkan 20 atau 30 token dalam bahasa Jepang.
Ini penting karena alasan praktis. Jika kamu bekerja dalam bahasa selain bahasa Inggris, kamu akan lebih cepat mencapai batas jendela konteks, respons mungkin lebih mahal, dan proses pembuatan respons mungkin sedikit lebih lama. Penggunaan lebih banyak token tidak dengan sendirinya membuat AI kurang mampu dalam suatu bahasa, tetapi model yang sebagian besar dilatih dengan teks bahasa Inggris sering memberikan jawaban yang lebih lemah dalam bahasa yang lebih jarang muncul dalam data pelatihannya.
Coba sendiri
Pelajaran ini tidak memiliki tantangan kode.
Pelajaran ini berisi kuis singkat. Mulai pelajarannya untuk menjawab kuis dan melacak progresmu.
Semua pelajaran di Dasar-Dasar
2Cara AI Membaca Kamu: Token
Apa Itu Token?Kata ≠ TokenMengapa Jumlah Token PentingJendela KonteksToken dalam Bahasa LainToken Khusus yang Tidak Pernah Kamu Lihat