Tokens especiales que nunca ves

Más allá de tu texto y del system prompt, la IA utiliza tokens especiales: marcadores invisibles que estructuran la conversación. Se ven algo así como <|user|>, <|assistant|> o <|end|>, aunque el formato exacto varía según el modelo.

Estos tokens marcan dónde comienza y termina cada mensaje, y quién está hablando. Sin ellos, el modelo no sabría de quién es el turno. Nunca los escribes y no los ves, pero consumen espacio en la ventana de contexto.

Esta es la razón por la que incluso una conversación vacía no tiene cero tokens, y por la que los recuentos de tokens a veces parecen ligeramente superiores a lo esperado. En conversaciones largas de ida y vuelta, estos marcadores se acumulan: cada límite de mensaje requiere su propio conjunto.

No necesitas gestionar los tokens especiales directamente. Pero saber que existen ayuda a explicar de dónde vienen esos tokens "extra".