Token Khusus yang Tidak Pernah Kamu Lihat

Selain teks dan prompt sistemmu, AI menggunakan token khusus: penanda tak terlihat yang menyusun percakapan. Bentuknya mirip <|user|>, <|assistant|>, atau <|end|>, meskipun format pastinya berbeda-beda menurut model.

Token-token ini menandai awal dan akhir setiap pesan, serta siapa yang berbicara. Tanpa token-token ini, model tidak akan tahu giliran siapa. Kamu tidak pernah mengetiknya dan tidak melihatnya, tetapi token-token ini menggunakan ruang di jendela konteks.

Inilah alasan percakapan kosong pun tidak berisi nol token, dan jumlah token terkadang tampak sedikit lebih tinggi dari perkiraan. Dalam percakapan panjang yang berlangsung bolak-balik, penanda ini akan bertambah: setiap batas pesan memerlukan kumpulan penandanya sendiri.

Kamu tidak perlu mengelola token khusus secara langsung. Namun, mengetahui bahwa token tersebut ada membantu menjelaskan asal token "tambahan" itu.