رموز (Tokens) خاصة لا تراها أبداً

جزء من قسم Fundamentals في رحلة AI Prompts على Coddy — الدرس 12 من 23.

بالإضافة إلى نصك وموجه النظام (system prompt)، يستخدم الذكاء الاصطناعي رموزاً خاصة (special tokens) — وهي علامات غير مرئية تنظم هيكلية المحادثة. تبدو هذه الرموز مثل <|user|>، أو <|assistant|>، أو <|end|>، على الرغم من أن التنسيق الدقيق يختلف باختلاف النموذج.

تحدد هذه الرموز (tokens) مكان بداية ونهاية كل رسالة، ومن المتحدث. وبدونها، لن يعرف النموذج دور من في التحدث. أنت لا تكتبها أبداً ولا تراها، لكنها تستهلك مساحة في نافذة السياق (context window).

هذا هو السبب في أن حتى المحادثة الفارغة لا تساوي صفراً من الرموز (tokens)، ولماذا تبدو أعداد الرموز أحياناً أعلى قليلاً مما هو متوقع. في المحادثات الطويلة المتبادلة، تتراكم هذه العلامات — حيث تتطلب كل حدود رسالة مجموعة خاصة بها.

لا تحتاج إلى إدارة الرموز الخاصة (special tokens) مباشرةً. ولكن معرفة وجودها يساعد في توضيح من أين تأتي تلك الرموز "الإضافية".

ورقة مرجعية

تستخدم محادثات الذكاء الاصطناعي رموزاً خاصة (special tokens) — وهي علامات غير مرئية تنظم هيكل المحادثة، مثل <|user|>، أو <|assistant|>، أو <|end|>.

تحدد هذه الرموز حدود الرسائل وتحدد المتحدثين. وهي تستهلك مساحة في نافذة السياق (context window)، ولهذا السبب: