لماذا يهم عدد الرموز (Tokens)؟
جزء من قسم Fundamentals في رحلة AI Prompts على Coddy — الدرس 9 من 23.
التوكنز (Tokens) مهمة لثلاثة أسباب
التكلفة. تفرض خدمات الذكاء الاصطناعي رسومًا مقابل كل رمز (token)، حيث تكلف رموز المخرجات أكثر من رموز المدخلات. فالمطالبة (prompt) التي تتسم بكثرة الكلام وتولد استجابة طويلة تكلف أكثر من المطالبة الموجزة.
السرعة. يقوم الذكاء الاصطناعي بإنشاء المخرجات رمزًا واحدًا (token) في كل مرة. الاستجابات الأقصر تعود بشكل أسرع.
حدود السياق. لكل نموذج سعة قصوى من الرموز (tokens) لكل محادثة (نافذة السياق). المطالبات الطويلة تترك مساحة أقل للاستجابات.
هذا هو السبب في أن الكفاءة مهمة. "هل يمكنك مساعدتي من فضلك من خلال شرح مفصل لعاصمة فرنسا؟" (~20 توكن) تحصل على نفس الإجابة مثل "ما هي عاصمة فرنسا؟" (~7 توكن) — بتكلفة أقل وسرعة أكبر.
للمقارنة، تبلغ تكلفة GPT-4o حوالي 2.50 دولار / 10 دولارات لكل مليون رمز (token) للمدخلات/المخرجات؛ بينما تبلغ تكلفة Claude Sonnet حوالي 3 دولارات / 15 دولاراً. المليون رمز تعادل تقريباً 750,000 كلمة، لذا فحتى الاستخدام العادي يتراكم.
ورقة مرجعية
تؤثر الرموز (Tokens) على ثلاثة جوانب رئيسية لاستخدام الذكاء الاصطناعي:
التكلفة: تفرض خدمات الذكاء الاصطناعي رسوماً لكل رمز، حيث تكلف رموز المخرجات (output tokens) أكثر من رموز المدخلات (input tokens).
السرعة: يقوم الذكاء الاصطناعي بتوليد المخرجات رمزاً واحداً في كل مرة، لذا تكون الاستجابات الأقصر أسرع.
حدود السياق: تمتلك النماذج سعة قصوى من الرموز لكل محادثة (نافذة السياق). تترك الأوامر (prompts) الطويلة مساحة أقل للاستجابات.
تقلل الأوامر الفعالة من التكاليف وتحسن السرعة. على سبيل المثال:
- "Can you please help me by explaining in great detail what the capital city of France is?" (~20 رمزاً)
- "What is the capital of France?" (~7 رموز)
كلاهما يحصل على نفس الإجابة، لكن الثاني أكثر كفاءة.
مرجع التسعير: تبلغ تكلفة GPT-4o حوالي 2.50 دولار / 10 دولارات لكل مليون رمز مدخلات/مخرجات؛ وتبلغ تكلفة Claude Sonnet حوالي 3 دولارات / 15 دولاراً. مليون رمز ≈ 750,000 كلمة.
جرّب بنفسك
لا يتضمّن هذا الدرس تحدّيًا برمجيًا.
اختبر نفسكيتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس Fundamentals
2كيف يقرأك الذكاء الاصطناعي — الرموز (Tokens)
ما هي الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهم عدد الرموز (Tokens)؟نافذة السياق (Context Window)الرموز (Tokens) في اللغات الأخرىرموز (Tokens) خاصة لا تراها أبداً