Perché il numero di token è importante

I gettoni sono importanti per tre motivi

Costo. I servizi di IA addebitano un costo per token, e i token di output costano più di quelli di input. Un prompt prolisso che genera una risposta lunga costa più di uno conciso.

Velocità. L'IA genera l'output un token alla volta. Le risposte più brevi arrivano più velocemente.

Limiti del contesto. Ogni modello ha una capacità massima di token per conversazione (la finestra di contesto). I prompt lunghi lasciano meno spazio alle risposte.

Ecco perché l'efficienza è importante. "Potresti aiutarmi spiegandomi in grande dettaglio qual è la capitale della Francia?" (~20 gettoni) ottiene la stessa risposta di "Qual è la capitale della Francia?" (~7 gettoni), a un costo inferiore e con maggiore velocità.

Per riferimento, GPT-4o costa circa $2.50/$10 per milione di token in ingresso/in uscita; Claude Sonnet costa $3/$15. Un milione di token equivale a circa 750.000 parole, quindi anche un uso occasionale si accumula.