למה מספר הטוקנים חשוב

אסימונים חשובים משלוש סיבות

עלות. שירותי AI גובים תשלום לפי אסימון, כאשר אסימוני פלט עולים יותר מאסימוני קלט. הנחיה שמייצרת תגובה ארוכה עולה יותר מהנחיה תמציתית.

מהירות. הבינה המלאכותית יוצרת פלט אסימון אחד בכל פעם. תשובות קצרות יותר מתקבלות מהר יותר.

מגבלות הקשר. לכל מודל יש קיבולת מרבית של אסימונים לכל שיחה (חלון ההקשר). הנחיות ארוכות משאירות פחות מקום לתשובות.

זו הסיבה שיעילות חשובה. "תוכל בבקשה לעזור לי ולהסביר בפירוט רב מהי עיר הבירה של צרפת?" (~20 tokens) מקבל את אותה תשובה כמו "מהי עיר הבירה של צרפת?" (~7 tokens), בעלות נמוכה יותר ובמהירות גבוהה יותר.

לשם השוואה, GPT-4o עולה כ-$2.50/$10 למיליון אסימוני קלט/פלט; Claude Sonnet עולה $3/$15. מיליון אסימונים הם בערך 750,000 מילים, כך שגם שימוש מזדמן מצטבר.