ما هي الرموز (Tokens)؟
جزء من قسم Fundamentals في رحلة AI Prompts على Coddy — الدرس 7 من 23.
يقسم الذكاء الاصطناعي نصك إلى قطع أصغر تسمى tokens.
فكر في الرموز (tokens) على أنها وحدة القراءة الأساسية للذكاء الاصطناعي. تماماً كما قد تقوم بتقسيم جملة إلى كلمات، يقوم الذكاء الاصطناعي بتقسيم النص إلى رموز (tokens).
ولكن هنا تكمن المفارقة: الرموز (tokens) ليست دائماً كلمات كاملة. قد يكون الرمز كلمة، أو جزءاً من كلمة، أو حتى مجرد حرف واحد.
على سبيل المثال، كلمة hello هي عادةً رمز واحد (token). ولكن كلمة أطول مثل uncomfortable قد يتم تقسيمها إلى عدة رموز: un، و comfort، و able. يعالج الذكاء الاصطناعي كل رمز بشكل منفصل، واحداً تلو الآخر.
التحدي
اجعل الذكاء الاصطناعي يستجيب بـ 4 كلمات أو أقل بالضبط، بحيث تتكون كل كلمة من مقطع لفظي واحد فقط. يجب أن تكون الاستجابة فكرة أو جملة كاملة.
يجب أن تكون استجابة الذكاء الاصطناعي:
- تحتوي على 4 كلمات (أو أقل)
- ألا تحتوي على أي علامات ترقيم باستثناء نقطة واحدة في النهاية
ورقة مرجعية
يقوم الذكاء الاصطناعي بتقسيم النص إلى قطع أصغر تسمى tokens، وهي وحدة القراءة الأساسية للذكاء الاصطناعي.
ليست الـ tokens دائماً كلمات كاملة. قد يكون الـ token:
- كلمة كاملة (على سبيل المثال،
hello) - جزءاً من كلمة (على سبيل المثال،
uncomfortableقد تنقسم إلىunوcomfortوable) - حرفاً واحداً
يعالج الذكاء الاصطناعي كل token بشكل منفصل، واحداً تلو الآخر.
ابدأ هذا التحدي مع مدرّس الذكاء الاصطناعي في Coddy
اختبر نفسكيتضمن هذا الدرس اختبارًا قصيرًا. ابدأ الدرس للإجابة عليه وتتبّع تقدمك.
جميع دروس Fundamentals
2كيف يقرأك الذكاء الاصطناعي — الرموز (Tokens)
ما هي الرموز (Tokens)؟الكلمات ≠ الرموز (Tokens)لماذا يهم عدد الرموز (Tokens)؟نافذة السياق (Context Window)الرموز (Tokens) في اللغات الأخرىرموز (Tokens) خاصة لا تراها أبداً