Que sont les tokens ?
Fait partie de la section Principes fondamentaux du Journey AI Prompts de Coddy. Leçon 7 sur 23.
L’IA décompose votre texte en petites unités appelées tokens.
Considérez les jetons comme l’unité de base de lecture de l’IA. Tout comme vous pourriez décomposer une phrase en mots, l’IA décompose le texte en jetons.
Mais voici le rebondissement : les jetons ne sont pas toujours des mots entiers. Un jeton peut être un mot, une partie d’un mot, ou même un seul caractère.
Par exemple, le mot hello correspond généralement à un seul jeton. Mais un mot plus long comme uncomfortable peut être divisé en plusieurs jetons : un, comfort, able. L’IA traite chaque jeton séparément, l’un après l’autre.
Défi
Chaque réponse dans le chat indique le nombre de jetons qu'elle a utilisés. Repérez le nombre de jetons de sortie sous la réponse de l'IA.
Faites en sorte que l'IA réponde en utilisant 10 jetons de sortie au maximum. Posez la question de votre choix, mais demandez à l'IA de répondre très brièvement.
La réponse de l'IA doit :
- Utiliser 10 jetons de sortie ou moins
Testez-vousCette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Principes fondamentaux
2Comment l’IA vous lit : les tokens
Que sont les tokens ?Mots ≠ tokensPourquoi le nombre de tokens compteLa fenêtre de contexteLes tokens dans d’autres languesLes tokens spéciaux que vous ne voyez jamais3Rédiger vos premiers prompts
L'IA parle Markdown (par défaut)Contrôler le format de sortieContrôler le ton et le styleQuand l'IA vous ignore