Parole ≠ token

Un errore comune è pensare che una parola equivalga a un token. Non funziona così.

La parola cat è un token. Ma cats? Potrebbero essere due token: cat e s. La parola hello è un token, ma Hello con la H maiuscola potrebbe essere tokenizzata in modo diverso.

Gli spazi, la punteggiatura e le maiuscole influiscono tutti su come viene suddiviso il testo.

Ecco alcuni esempi sorprendenti:

Testo	Token approssimativi
dog	1
dogs	1-2
extraordinary	2-3
123456	2-3
!!!	1-3

I numeri sono particolarmente insidiosi. Potresti pensare che 1000 sia un unico token, ma potrebbe essere suddiviso in 100 e 0, o persino cifra per cifra. Ecco perché a volte l'IA ha difficoltà con i calcoli precisi: non vede i numeri come li vedi tu.

L'intuizione chiave: il numero di token è imprevedibile se conti solo le parole. Un prompt di 100 parole potrebbe usare 130 token oppure 150, a seconda delle parole specifiche che hai scelto.

Osserva il contatore dei gettoni nel pannello della chat mentre digiti: noterai che non aumenta esattamente di uno per ogni parola.