الكلمات ≠ الرموز

من الأخطاء الشائعة افتراض أن كل كلمة تساوي رمزًا واحدًا. الأمر لا يسير بهذه الطريقة.

الكلمة cat هي رمز واحد. لكن cats؟ قد تكون رمزين: cat وs. الكلمة hello هي رمز واحد، لكن Hello بحرف H كبير قد تُقسَّم إلى رموز مختلفة.

تؤثر المسافات وعلامات الترقيم والأحرف الكبيرة والصغيرة جميعها في كيفية تقسيم النص.

إليك بعض الأمثلة المفاجئة:

النص	عدد الرموز التقريبي
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

الأرقام صعبة بشكل خاص. قد تظن أن 1000 رمز واحد، لكنها قد تُقسَّم إلى 100 و0، أو حتى إلى أرقام منفردة. لهذا السبب تواجه الذكاء الاصطناعي أحيانًا صعوبة في إجراء العمليات الحسابية بدقة: فهو لا يرى الأرقام بالطريقة التي تراها بها.

الفكرة الأساسية: أعداد الرموز غير قابلة للتنبؤ إذا كنت تكتفي بعدّ الكلمات. قد يستخدم موجّه مكوّن من 100 كلمة 130 رمزًا أو 150، وذلك بحسب الكلمات المحددة التي اخترتها.

بعد كل رد، تعرض المحادثة عدد رموز الإدخال والإخراج التي استخدمتها. قارن هذه الأعداد بعدد الكلمات: نادرًا ما تتطابق واحدًا لواحد.