لماذا يهم عدد الرموز (Tokens)؟

التوكنز (Tokens) مهمة لثلاثة أسباب

التكلفة. تفرض خدمات الذكاء الاصطناعي رسومًا مقابل كل رمز (token)، حيث تكلف رموز المخرجات أكثر من رموز المدخلات. فالمطالبة (prompt) التي تتسم بكثرة الكلام وتولد استجابة طويلة تكلف أكثر من المطالبة الموجزة.

السرعة. يقوم الذكاء الاصطناعي بإنشاء المخرجات رمزًا واحدًا (token) في كل مرة. الاستجابات الأقصر تعود بشكل أسرع.

حدود السياق. لكل نموذج سعة قصوى من الرموز (tokens) لكل محادثة (نافذة السياق). المطالبات الطويلة تترك مساحة أقل للاستجابات.

هذا هو السبب في أن الكفاءة مهمة. "هل يمكنك مساعدتي من فضلك من خلال شرح مفصل لعاصمة فرنسا؟" (~20 توكن) تحصل على نفس الإجابة مثل "ما هي عاصمة فرنسا؟" (~7 توكن) — بتكلفة أقل وسرعة أكبر.

للمقارنة، تبلغ تكلفة GPT-4o حوالي 2.50 دولار / 10 دولارات لكل مليون رمز (token) للمدخلات/المخرجات؛ بينما تبلغ تكلفة Claude Sonnet حوالي 3 دولارات / 15 دولاراً. المليون رمز تعادل تقريباً 750,000 كلمة، لذا فحتى الاستخدام العادي يتراكم.