رموز (Tokens) خاصة لا تراها أبداً

بالإضافة إلى نصك ومطالبة النظام، يستخدم الذكاء الاصطناعي رموزًا مميزة: علامات غير مرئية تُنظّم المحادثة. تبدو هذه الرموز مثل <|user|> أو <|assistant|> أو <|end|>، مع أن التنسيق الدقيق يختلف باختلاف النموذج.

تُحدِّد هذه الرموز المميزة موضع بدء كل رسالة وانتهائها، ومن المتحدث. من دونها، لن يعرف النموذج دور مَن حان. أنت لا تكتبها أبدًا ولا تراها، لكنها تستهلك مساحة في نافذة السياق.

لهذا السبب، لا تكون حتى المحادثة الفارغة مكوّنة من صفر من الرموز، ولهذا تبدو أعداد الرموز أحيانًا أعلى قليلًا مما هو متوقع. في المحادثات الطويلة ذهابًا وإيابًا، تتراكم هذه العلامات: إذ يتطلب كل حدّ للرسالة مجموعته الخاصة.

لا تحتاج إلى إدارة الرموز المميّزة الخاصة مباشرةً. لكن معرفة وجودها تساعد في توضيح مصدر تلك الرموز «الإضافية».