Commande Uniq

La commande uniq filtre les lignes dupliquées consécutives d’un fichier, en n’affichant que les lignes uniques.

Nous avons duplicates.txt :

apple
banana
apple
cherry
banana
banana

Important : uniq ne supprime les doublons que s'ils sont adjacents. C'est pourquoi il est presque toujours utilisé en combinaison avec sort au préalable :

sort duplicates.txt | uniq

Le symbole | s'appelle un pipe — il envoie la sortie d'une commande comme entrée à une autre. C'est un motif puissant que vous utiliserez souvent dans le terminal.

Options utiles :

-c — préfixe chaque ligne avec le nombre de fois qu'elle apparaît :

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d — n'affiche que les lignes qui sont dupliquées :

sort duplicates.txt | uniq -d

-u — afficher uniquement les lignes qui apparaissent exactement une fois :

sort duplicates.txt | uniq -u