الكلمات ≠ الرموز (Tokens)
جزء من قسم الأساسيات في رحلة AI Prompts على Coddy. الدرس 8 من 23.
من الأخطاء الشائعة افتراض أن الكلمة الواحدة تساوي رمزًا واحدًا. الأمر لا يعمل بهذه الطريقة.
كلمة cat هي رمز واحد. لكن cats؟ قد تكون رمزين: cat وs. كلمة hello هي رمز واحد، لكن Hello بحرف H كبير قد تُقسَّم إلى رموز بطريقة مختلفة.
تؤثر المسافات وعلامات الترقيم واستخدام الأحرف الكبيرة والصغيرة جميعها في كيفية تقسيم النص.
إليك بعض الأمثلة المفاجئة:
| النص | عدد الرموز التقريبي |
|---|---|
dog | 1 |
dogs | 1-2 |
extraordinary | 2-3 |
123456 | 2-6 |
!!! | 1-3 |
الأعداد صعبة بشكل خاص. قد تظن أن 1000 رمز واحد، لكنها قد تُقسَّم إلى 100 و0، أو حتى إلى أرقام منفردة. لهذا السبب تواجه أنظمة الذكاء الاصطناعي أحيانًا صعوبة في إجراء العمليات الحسابية بدقة: فهي لا ترى الأعداد بالطريقة التي تراها بها.
الفكرة الأساسية: أعداد الرموز غير قابلة للتنبؤ إذا كنت تكتفي بعدّ الكلمات. قد تستخدم مطالبة مكوّنة من 100 كلمة 130 رمزًا أو 150، بحسب الكلمات المحددة التي اخترتها.
بعد كل رد، تعرض المحادثة عدد رموز الإدخال والإخراج التي استخدمتها. قارن هذه الأعداد بعدد الكلمات: نادرًا ما تتطابق واحدًا لواحد.
جرّب بنفسك
لا يتضمّن هذا الدرس تحدّيًا برمجيًا.
يتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس الأساسيات
2كيف يقرأك الذكاء الاصطناعي: الرموز (Tokens)
ما الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهمّ عدد الرموز؟نافذة السياقالرموز (Tokens) في لغات أخرىرموز خاصة لا تراها أبدًا