Por qué importa el conteo de tokens

Los tokens importan por tres razones

Costo. Los servicios de IA cobran por token, y los tokens de salida cuestan más que los de entrada. Un prompt extenso que genera una respuesta larga cuesta más que uno conciso.

Velocidad. La IA genera la salida un token a la vez. Las respuestas más cortas se devuelven más rápido.

Límites de contexto. Cada modelo tiene una capacidad máxima de tokens por conversación (la ventana de contexto). Los prompts largos dejan menos espacio para las respuestas.

Es por esto que la eficiencia es importante. "¿Podrías por favor ayudarme explicándome con gran detalle cuál es la capital de Francia?" (~20 tokens) obtiene la misma respuesta que "¿Cuál es la capital de Francia?" (~7 tokens) — a un costo menor y con mayor rapidez.

Como referencia, GPT-4o cuesta alrededor de $2.50/$10 por cada millón de tokens de entrada/salida; Claude Sonnet cuesta $3/$15. Un millón de tokens son aproximadamente 750,000 palabras, por lo que incluso el uso ocasional se acumula.