ما هي الرموز (Tokens)؟

يقسم الذكاء الاصطناعي نصك إلى قطع أصغر تسمى tokens.

فكر في الرموز (tokens) على أنها وحدة القراءة الأساسية للذكاء الاصطناعي. تماماً كما قد تقوم بتقسيم جملة إلى كلمات، يقوم الذكاء الاصطناعي بتقسيم النص إلى رموز (tokens).

ولكن هنا تكمن المفارقة: الرموز (tokens) ليست دائماً كلمات كاملة. قد يكون الرمز كلمة، أو جزءاً من كلمة، أو حتى مجرد حرف واحد.

على سبيل المثال، كلمة hello هي عادةً رمز واحد (token). ولكن كلمة أطول مثل uncomfortable قد يتم تقسيمها إلى عدة رموز: un، و comfort، و able. يعالج الذكاء الاصطناعي كل رمز بشكل منفصل، واحداً تلو الآخر.