Que sont les tokens ?
Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 7 sur 23.
L’IA décompose ton texte en petits éléments appelés jetons.
Considère les jetons comme l’unité de base que l’IA utilise pour lire. Tout comme tu pourrais découper une phrase en mots, l’IA découpe le texte en jetons.
Mais voici le rebondissement : les jetons ne sont pas toujours des mots entiers. Un jeton peut être un mot, une partie de mot, ou même un seul caractère.
Par exemple, le mot hello correspond généralement à un seul jeton. Mais un mot plus long comme uncomfortable peut être découpé en plusieurs jetons : un, comfort, able. L’IA suit l’ordre des jetons et utilise ceux qui précèdent chacun d’eux pour en déduire le sens. Elle rédige sa réponse jeton par jeton.
Défi
Chaque réponse du chat indique combien de jetons elle a utilisés. Repère le nombre de jetons de sortie sous la réponse de l’IA.
Fais répondre l’IA en 10 jetons de sortie au maximum. Demande ce que tu veux, mais fais en sorte que l’IA réponde très brièvement.
La réponse de l’IA doit :
- Utiliser 10 jetons de sortie ou moins
Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Principes fondamentaux
2Comment l’IA vous lit : les tokens
Que sont les tokens ?Mots ≠ tokensPourquoi le nombre de tokens compteLa fenêtre de contexteLes tokens dans d’autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore