Por qué importa el conteo de tokens

Los tokens importan por tres razones

Coste. Los servicios de IA cobran por token, y los tokens de salida cuestan más que los de entrada. Un prompt verboso que genere una respuesta larga cuesta más que uno conciso.

Velocidad. La IA genera la salida un token a la vez. Las respuestas más cortas llegan más rápido.

Límites de contexto. Cada modelo tiene una capacidad máxima de tokens por conversación (la ventana de contexto). Las indicaciones largas dejan menos espacio para las respuestas.

Por eso la eficiencia importa. "¿Puedes ayudarme explicándome con todo detalle cuál es la capital de Francia?" (~20 tokens) obtiene la misma respuesta que "¿Cuál es la capital de Francia?" (~7 tokens), con un costo menor y mayor velocidad.

Como referencia, GPT-4o cuesta aproximadamente $2.50/$10 por millón de tokens de entrada/salida; Claude Sonnet cuesta $3/$15. Un millón de tokens equivale aproximadamente a 750,000 palabras, por lo que incluso el uso ocasional se acumula.