למה מספר הטוקנים חשוב

אסימונים חשובים משלוש סיבות

עלות. שירותי AI גובים תשלום לפי טוקן, כאשר טוקני פלט עולים יותר מטוקני קלט. הנחיה מפורטת שמייצרת תשובה ארוכה עולה יותר מהנחיה תמציתית.

מהירות. הבינה המלאכותית יוצרת פלט אסימון אחד בכל פעם. תשובות קצרות יותר מתקבלות מהר יותר.

מגבלות הקשר. לכל מודל יש קיבולת מרבית של אסימונים בכל שיחה (חלון ההקשר). הנחיות ארוכות משאירות פחות מקום לתשובות.

זו הסיבה שיעילות חשובה. "תוכל בבקשה לעזור לי ולהסביר בפירוט רב מהי עיר הבירה של צרפת?" (~20 טוקנים) מקבל אותה תשובה כמו "מהי עיר הבירה של צרפת?" (~7 טוקנים), בעלות נמוכה יותר ובמהירות גבוהה יותר.

לשם השוואה, GPT-4o עולה בערך $2.50/$10 למיליון אסימוני קלט/פלט; Claude Sonnet עולה $3/$15. מיליון אסימונים הם בערך 750,000 מילים, כך שגם שימוש מזדמן מצטבר לעלות משמעותית.