Menu
CoddyTech

Token dalam Bahasa Lain

Termasuk bagian Dasar-Dasar dalam perjalanan AI Prompts di Coddy. Pelajaran 11 dari 23.

Sebagian besar model AI dilatih terutama menggunakan teks berbahasa Inggris. Hal ini memiliki konsekuensi yang mengejutkan: bahasa selain bahasa Inggris sering menggunakan lebih banyak token untuk makna yang sama.

Kata hello dalam bahasa Inggris biasanya terdiri dari satu token. Namun, padanannya dalam bahasa lain mungkin terbagi secara berbeda:

BahasaKataPerkiraan token
Bahasa Inggrishello1
Bahasa Spanyolhola2
Bahasa Jepangこんにちは1
Bahasa Arabمرحبا3-5
Bahasa Rusiaпривет3-4

Kata yang sangat umum seperti こんにちは tetap bisa menjadi satu token karena kata tersebut sering muncul dalam teks yang digunakan untuk membuat tokenizer.

Bahasa dengan aksara non-Latin, seperti Chinese, Japanese, Korean, Arabic, atau Hindi, cenderung menggunakan jauh lebih banyak token. Kalimat yang membutuhkan 10 token dalam bahasa Inggris mungkin membutuhkan 20 atau 30 token dalam bahasa Jepang.

Ini penting karena alasan praktis. Jika kamu bekerja dalam bahasa selain bahasa Inggris, kamu akan lebih cepat mencapai batas jendela konteks, respons mungkin lebih mahal, dan proses pembuatan respons mungkin sedikit lebih lama. Penggunaan lebih banyak token tidak dengan sendirinya membuat AI kurang mampu dalam suatu bahasa, tetapi model yang sebagian besar dilatih dengan teks bahasa Inggris sering memberikan jawaban yang lebih lemah dalam bahasa yang lebih jarang muncul dalam data pelatihannya.

Coba sendiri

Pelajaran ini tidak memiliki tantangan kode.

quiz iconUji dirimu

Pelajaran ini berisi kuis singkat. Mulai pelajarannya untuk menjawab kuis dan melacak progresmu.

Semua pelajaran di Dasar-Dasar