Token dalam Bahasa Lain
Termasuk bagian Dasar-Dasar dalam perjalanan AI Prompts di Coddy. Pelajaran 11 dari 23.
Sebagian besar model AI terutama dilatih menggunakan teks berbahasa Inggris. Hal ini memiliki dampak yang mengejutkan: bahasa selain bahasa Inggris sering menggunakan lebih banyak token untuk menyampaikan makna yang sama.
Kata hello dalam bahasa Inggris biasanya terdiri dari satu token. Namun, padanannya dalam bahasa lain mungkin terbagi secara berbeda:
| Bahasa | Kata | Perkiraan Token |
|---|---|---|
| Inggris | hello | 1 |
| Spanyol | hola | 1 |
| Jepang | こんにちは | 3-5 |
| Arab | مرحبا | 2-4 |
| Rusia | привет | 2-3 |
Bahasa dengan aksara non-Latin, seperti Chinese, Japanese, Korean, Arabic, atau Hindi, cenderung menggunakan jauh lebih banyak token. Kalimat yang membutuhkan 10 token dalam bahasa Inggris mungkin membutuhkan 20 atau 30 token dalam bahasa Jepang.
Ini penting karena alasan praktis. Jika kamu bekerja dalam bahasa selain bahasa Inggris, batas jendela konteks akan lebih cepat tercapai, respons mungkin lebih mahal, dan proses pembuatan mungkin memerlukan waktu sedikit lebih lama. Bukan berarti AI lebih buruk dalam bahasa-bahasa ini. AI hanya memprosesnya dengan kurang efisien pada tingkat token.
Coba sendiri
Pelajaran ini tidak memiliki tantangan kode.
Uji dirimuPelajaran ini berisi kuis singkat. Mulai pelajarannya untuk menjawab kuis dan melacak progresmu.
Semua pelajaran di Dasar-Dasar
2Cara AI Membaca Kamu: Token
Apa Itu Token?Kata ≠ TokenMengapa Jumlah Token PentingJendela KonteksToken dalam Bahasa LainToken Khusus yang Tidak Pernah Kamu Lihat