Token Khusus yang Tidak Pernah Kamu Lihat
Termasuk bagian Dasar-Dasar dalam perjalanan AI Prompts di Coddy. Pelajaran 12 dari 23.
Selain teksmu dan prompt sistem, AI menggunakan token khusus: penanda tak terlihat yang menyusun percakapan. Bentuknya kurang lebih seperti <|user|>, <|assistant|>, atau <|end|>, meskipun format pastinya berbeda-beda menurut model.
Token-token ini menandai tempat setiap pesan dimulai dan berakhir, serta siapa yang berbicara. Tanpanya, model tidak akan tahu giliran siapa. Kamu tidak pernah mengetiknya dan tidak melihatnya, tetapi token-token ini memakai ruang di jendela konteks.
Inilah sebabnya percakapan kosong pun tidak memiliki nol token, dan jumlah token terkadang tampak sedikit lebih tinggi dari perkiraan. Dalam percakapan panjang yang berlangsung bolak-balik, penanda ini terus bertambah: setiap batas pesan memerlukan rangkaiannya sendiri.
Kamu tidak perlu mengelola token khusus secara langsung. Namun, mengetahui bahwa token tersebut ada membantu menjelaskan asal "token tambahan" itu.
Coba sendiri
Pelajaran ini tidak memiliki tantangan kode.
Pelajaran ini berisi kuis singkat. Mulai pelajarannya untuk menjawab kuis dan melacak progresmu.
Semua pelajaran di Dasar-Dasar
2Cara AI Membaca Kamu: Token
Apa Itu Token?Kata ≠ TokenMengapa Jumlah Token PentingJendela KonteksToken dalam Bahasa LainToken Khusus yang Tidak Pernah Kamu Lihat