الكلمات ≠ الرموز (Tokens)

من الأخطاء الشائعة افتراض أن كلمة واحدة تساوي رمزًا واحدًا. الأمر لا يعمل بهذه الطريقة.

الكلمة cat هي رمز واحد. لكن cats؟ قد تكون رمزين: cat وs. الكلمة hello هي رمز واحد، لكن Hello بحرف H كبير قد تُجزَّأ إلى رموز مختلفة.

تؤثر المسافات وعلامات الترقيم والكتابة بالأحرف الكبيرة جميعها في كيفية تقسيم النص.

إليك بعض الأمثلة المفاجئة:

النص	الرموز التقريبية
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

الأرقام صعبة بشكل خاص. قد تظن أن 1000 رمز واحد، لكنه قد يُقسَّم إلى 100 و0، أو حتى إلى أرقام منفردة. ولهذا تواجه AI أحيانًا صعوبة في إجراء العمليات الحسابية الدقيقة: فهي لا ترى الأرقام بالطريقة التي تراها أنت.

الفكرة الأساسية: أعداد الرموز غير متوقعة إذا كنت تكتفي بعدّ الكلمات. قد يستخدم موجّه مكوّن من 100 كلمة 130 رمزًا أو 150، وذلك حسب الكلمات المحددة التي اخترتها.

راقب عدّاد الرموز في لوحة الدردشة أثناء الكتابة: ستلاحظ أنه لا يزداد بمقدار واحد تمامًا لكل كلمة.