מילים ≠ טוקנים

טעות נפוצה היא להניח שמילה אחת שווה לאסימון אחד. זה לא עובד ככה.

המילה cat היא אסימון אחד. אבל cats? ייתכן שהיא מורכבת משני אסימונים: cat ו־s. המילה hello היא אסימון אחד, אבל ייתכן ש־Hello עם H גדולה תחולק לאסימונים אחרת.

רווחים, סימני פיסוק ואותיות גדולות וקטנות משפיעים כולם על אופן פיצול הטקסט.

הנה כמה דוגמאות מפתיעות:

טקסט	מספר משוער של אסימונים
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

מספרים הם עניין מורכב במיוחד. יכול להיות שתחשוב ש-1000 הוא אסימון אחד, אבל הוא עשוי להתפצל ל-100 ול-0, או אפילו לספרה אחר ספרה. זו הסיבה שלפעמים AI מתקשה בחישובים מדויקים: הוא לא רואה מספרים כמוך.

התובנה המרכזית: אי אפשר לחזות את מספר האסימונים אם פשוט סופרים מילים. הנחיה בת 100 מילים עשויה להשתמש ב־130 אסימונים או ב־150, בהתאם למילים הספציפיות שבחרת.

עקוב אחר מונה האסימונים בחלונית הצ'אט בזמן ההקלדה: תראה שהוא לא גדל בדיוק באסימון אחד לכל מילה.