Tokenizer de chaînes

Fait partie de la section Logique & Flux du Journey Java de Coddy — leçon 48 sur 59.

StringTokenizer est utilisé pour diviser une chaîne en jetons (parties plus petites) basés sur un délimiteur. Par défaut, il utilise l'espace blanc comme délimiteur.

Créez un StringTokenizer avec le délimiteur par défaut (espace) :

StringTokenizer st = new StringTokenizer("Hello World Java");

Compter et obtenir les jetons :

int count = st.countTokens();
// Obtient le nombre de jetons
String first = st.nextToken();
// Obtient le jeton suivant

Après l'exécution du code ci-dessus, les variables contiennent :

count: 3
first: "Hello"

Important : les jetons sont consommés !

Lorsque vous appelez nextToken(), cela supprime ce jeton du tokenizer. La méthode countTokens() renvoie le nombre de jetons restants.

StringTokenizer st = new StringTokenizer("Hello World Java");
System.out.println(st.countTokens());  // Affiche : 3

st.nextToken();  // Consomme "Hello"
System.out.println(st.countTokens());  // Affiche : 2 (pas 3 !)

st.nextToken();  // Consomme "World"
System.out.println(st.countTokens());  // Affiche : 1

Conseil : Si vous avez besoin de connaître le nombre total de jetons, appelez countTokens() avant de consommer des jetons. Utilisez hasMoreTokens() pour vérifier s'il reste des jetons disponibles lors de l'itération.

Défi

Facile

Créez une méthode nommée tokenizeText qui prend deux arguments :

Une chaîne de caractères (text) à diviser en jetons
Une chaîne de caractères (delimiter) pour la séparation

La méthode doit :

Créer un StringTokenizer avec le texte et le délimiteur donnés
Retourner une chaîne contenant le nombre de jetons suivi de chaque jeton sur une nouvelle ligne

Les messages de retour doivent être :

Si text est null : retourner "Invalid text"
Si delimiter est null : utiliser l'espace comme délimiteur
Format : "Token count: X\nToken: token1\nToken: token2\n..."

Essayez vous-même

import java.util.Scanner;
import java.util.StringTokenizer;

public class Main {
    public static String tokenizeText(String text, String delimiter) {
        // Écrivez votre code ici
    }
    
    public static void main(String[] args) {
        Scanner scanner = new Scanner(System.in);
        String text = scanner.nextLine();
        String delimiter = scanner.nextLine();
        
        if (text.equals("null")) text = null;
        if (delimiter.equals("null")) delimiter = null;
        
        System.out.println(tokenizeText(text, delimiter));
    }
}