الرموز (Tokens) في اللغات الأخرى

دُرِّبت معظم نماذج الذكاء الاصطناعي أساسًا على نصوص باللغة الإنجليزية. ولهذا نتيجة مفاجئة: غالبًا ما تستخدم اللغات غير الإنجليزية عددًا أكبر من الرموز للمعنى نفسه.

كلمة hello في اللغة الإنجليزية تكون عادةً رمزًا واحدًا. لكن قد تُقسَّم مكافئاتها في اللغات الأخرى بشكل مختلف:

تميل اللغات التي تستخدم أبجديات غير لاتينية، مثل الصينية أو اليابانية أو الكورية أو العربية أو الهندية، إلى استخدام عدد أكبر بكثير من الرموز. قد تتطلب جملة تستغرق 10 رموز في الإنجليزية 20 أو 30 رمزًا في اليابانية.

هذا مهم لأسباب عملية. إذا كنت تعمل بلغة غير الإنجليزية، فستصل إلى حدود نافذة السياق بسرعة أكبر، وقد تكون الاستجابات أكثر تكلفة، وقد يستغرق التوليد وقتًا أطول قليلًا. لا يعني ذلك أن الذكاء الاصطناعي أسوأ في التعامل مع هذه اللغات. بل إنه يعالجها بكفاءة أقل على مستوى الرموز المميزة.