لماذا يهم عدد الرموز (Tokens)؟

جزء من قسم الأساسيات في رحلة AI Prompts على Coddy. الدرس 9 من 23.

للرموز أهمية لثلاثة أسباب

التكلفة. تفرض خدمات الذكاء الاصطناعي رسومًا لكل رمز مميز، وتكون تكلفة رموز الإخراج أعلى من رموز الإدخال. ويكلّف الموجّه المطوّل الذي ينتج استجابة طويلة أكثر من الموجّه الموجز.

السرعة. يُنشئ الذكاء الاصطناعي المخرجات رمزًا واحدًا في كل مرة. تصل الاستجابات الأقصر بسرعة أكبر.

حدود السياق. لكل نموذج سعة قصوى من الرموز المميّزة لكل محادثة (نافذة السياق). تترك المطالبات الطويلة مساحة أقل للاستجابات.

لهذا السبب تهم الكفاءة. "Can هل يمكنك please help me عبر explaining بالتفصيل what هي capital مدينة France؟" (~20 رمزًا) تحصل على الإجابة نفسها مثل "What هي capital France؟" (~7 رموز)، بتكلفة أقل وسرعة أكبر.

للمرجع، تبلغ تكلفة GPT-4o نحو $2.50/$10 لكل مليون رمز من رموز الإدخال/الإخراج؛ بينما تبلغ تكلفة Claude Sonnet $3/$15. ويعادل مليون رمز تقريبًا 750,000 كلمة، لذا فإن الاستخدام غير الرسمي يتراكم سريعًا.

جرّب بنفسك

لا يتضمّن هذا الدرس تحدّيًا برمجيًا.