Apa Itu Token?

AI memecah teksmu menjadi bagian-bagian lebih kecil yang disebut token.

Anggap token sebagai unit dasar yang dibaca AI. Seperti saat kamu membagi kalimat menjadi kata-kata, AI membagi teks menjadi token.

Namun, ada hal yang perlu diperhatikan: token tidak selalu berupa kata utuh. Token bisa berupa kata, bagian dari kata, atau bahkan satu karakter saja.

Sebagai contoh, kata hello biasanya terdiri dari satu token. Namun, kata yang lebih panjang seperti uncomfortable mungkin dibagi menjadi beberapa token: un, comfort, able. AI memproses setiap token secara terpisah, satu per satu.