Tokenizer de chaînes

Fait partie de la section Logique & Flux du Journey Java de Coddy — leçon 48 sur 59.

StringTokenizer est utilisé pour diviser une chaîne en jetons (parties plus petites) en se basant sur un délimiteur. Par défaut, il utilise l'espace blanc comme délimiteur.

Créez un StringTokenizer avec le délimiteur par défaut (espace) :

StringTokenizer st = new StringTokenizer("Hello World Java");

Compter et obtenir des jetons :

int count = st.countTokens();
// Obtient le nombre de jetons
String first = st.nextToken();
// Obtient le jeton suivant

Après l'exécution du code ci-dessus, les variables contiennent :

count: 3
first: "Hello"

Lorsque vous appelez nextToken(), cela supprime ce jeton du tokenizer. La méthode countTokens() retourne le nombre de jetons restants.

StringTokenizer st = new StringTokenizer("Hello World Java");
System.out.println(st.countTokens());  // Affiche: 3

st.nextToken();  // Consomme "Hello"
System.out.println(st.countTokens());  // Affiche: 2 (pas 3 !)

st.nextToken();  // Consomme "World"
System.out.println(st.countTokens());  // Affiche: 1

Astuce : Si vous avez besoin de connaître le nombre total de jetons, appelez countTokens() avant de consommer des jetons. Utilisez hasMoreTokens() pour vérifier s'il y a plus de jetons disponibles pendant l'itération.

Défi

Facile

Créez une méthode nommée tokenizeText qui prend deux arguments :

Une String (text) à tokeniser
Une String (delimiter) pour diviser

La méthode devrait :

Créer un StringTokenizer avec le texte et le délimiteur donnés
Retourner une chaîne contenant le nombre de tokens suivi de chaque token sur une nouvelle ligne

Les messages de retour devraient être :

Si text est null : retourner "Invalid text"
Si delimiter est null : utiliser l'espace comme délimiteur
Format : "Token count: X\nToken: token1\nToken: token2\n..."

Aide-mémoire

StringTokenizer divise une chaîne en tokens (parties plus petites) en se basant sur un délimiteur. Par défaut, il utilise l'espace blanc comme délimiteur.

Créez un StringTokenizer avec le délimiteur par défaut (espace) :

StringTokenizer st = new StringTokenizer("Hello World Java");

Comptez et obtenez les tokens :

int count = st.countTokens();  // Obtient le nombre de tokens
String first = st.nextToken(); // Obtient le prochain token

Créez un StringTokenizer avec un délimiteur personnalisé :

StringTokenizer st = new StringTokenizer(text, delimiter);

Lorsque vous appelez nextToken(), il supprime ce token du tokenizer. La méthode countTokens() retourne le nombre de tokens restant.

StringTokenizer st = new StringTokenizer("Hello World Java");
System.out.println(st.countTokens());  // Affiche : 3

st.nextToken();  // Consomme "Hello"
System.out.println(st.countTokens());  // Affiche : 2 (pas 3 !)

st.nextToken();  // Consomme "World"
System.out.println(st.countTokens());  // Affiche : 1

Conseil : Si vous devez connaître le nombre total de tokens, appelez countTokens() avant de consommer des tokens. Utilisez hasMoreTokens() pour vérifier s'il y a plus de tokens disponibles pendant l'itération.

Essayez vous-même

import java.util.Scanner;
import java.util.StringTokenizer;

public class Main {
    public static String tokenizeText(String text, String delimiter) {
        // Écrivez votre code ici
    }
    
    public static void main(String[] args) {
        Scanner scanner = new Scanner(System.in);
        String text = scanner.nextLine();
        String delimiter = scanner.nextLine();
        
        if (text.equals("null")) text = null;
        if (delimiter.equals("null")) delimiter = null;
        
        System.out.println(tokenizeText(text, delimiter));
    }
}