מילים ≠ טוקנים

טעות נפוצה היא להניח שמילה אחת שווה לאסימון אחד. זה לא עובד כך.

המילה cat היא אסימון אחד. אבל cats? היא עשויה להיות שני אסימונים: cat ו־s. המילה hello היא אסימון אחד, אבל ייתכן ש־Hello עם H גדולה תחולק לאסימונים באופן שונה.

רווחים, סימני פיסוק ואותיות גדולות וקטנות משפיעים כולם על אופן פיצול הטקסט.

הנה כמה דוגמאות מפתיעות:

טקסט	מספר משוער של אסימונים
dog	1
dogs	1-2
extraordinary	2-3
123456	2-6
!!!	1-3

מספרים מסובכים במיוחד. אולי נראה לך ש־1000 הוא אסימון אחד, אבל אפשר לפצל אותו ל־100 ול־0, או אפילו לספרות בודדות. לכן לפעמים בינה מלאכותית מתקשה בחישובים מדויקים: היא לא רואה מספרים כמו שאת/ה רואה אותם.

התובנה המרכזית: אי אפשר לחזות את מספר האסימונים אם פשוט סופרים מילים. הנחיה בת 100 מילים עשויה להשתמש ב־130 אסימונים או ב־150, בהתאם למילים הספציפיות שבחרת.

אחרי כל תשובה, הצ'אט מציג כמה טוקנים של קלט ופלט נוצלו. השוו את המספרים האלה למספר המילים: לעיתים רחוקות הם תואמים אחד לאחד.