ما هي الرموز (Tokens)؟
جزء من قسم Fundamentals في رحلة AI Prompts على Coddy. الدرس 7 من 23.
يقوم الذكاء الاصطناعي بتقسيم نصك إلى أجزاء أصغر تسمى رموزًا (tokens).
فكّر في الرموز (tokens) على أنها وحدة القراءة الأساسية للذكاء الاصطناعي. تمامًا كما قد تقسم الجملة إلى كلمات، يقوم الذكاء الاصطناعي بتقسيم النص إلى رموز.
ولكن هنا يكمن التحول: التوكينات (tokens) ليست دائمًا كلمات كاملة. قد يكون التوكين كلمة، أو جزءًا من كلمة، أو حتى مجرد حرف واحد.
على سبيل المثال، كلمة hello تكون عادةً رمزًا واحدًا (token). ولكن كلمة أطول مثل uncomfortable قد يتم تقسيمها إلى عدة رموز: un، و comfort، و able. يترجم الذكاء الاصطناعي كل رمز على حدة، واحدًا تلو الآخر.
التحدي
اجعل الذكاء الاصطناعي يجيب باستخدام 4 كلمات أو أقل بضبط، حيث تتكون كل كلمة من مقطع لفظي واحد فقط. يجب أن تكون الإجابة فكرة أو جملة كاملة.
يجب على إجابة الذكاء الاصطناعي أن:
- تحتوي على 4 كلمات (أو أقل)
- لا تحتوي على أي علامات ترقيم باستثناء نقطة واحدة في النهاية
ابدأ هذا التحدي مع مدرّس الذكاء الاصطناعي في Coddy
اختبر نفسكيتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس Fundamentals
2كيف يقرأك الذكاء الاصطناعي — الرموز (Tokens)
ما هي الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهم عدد الرموز (Tokens)؟نافذة السياق (Context Window)الرموز (Tokens) في اللغات الأخرىرموز (Tokens) خاصة لا تراها أبداً