Comando Uniq

O comando uniq filtra linhas duplicadas consecutivas de um arquivo, mostrando apenas linhas únicas.

Temos duplicates.txt:

apple
banana
apple
cherry
banana
banana

Importante: uniq remove apenas duplicatas que estão uma ao lado da outra. É por isso que é quase sempre usado junto com sort primeiro:

sort duplicates.txt | uniq

O símbolo | é chamado de pipe — ele envia a saída de um comando como a entrada para outro. Este é um padrão poderoso que você usará com frequência no terminal.

Flags úteis:

-c — prefixa cada linha com a contagem de quantas vezes ela aparece:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d — mostre apenas as linhas que são duplicadas:

sort duplicates.txt | uniq -d

-u — mostre apenas linhas que aparecem exatamente uma vez:

sort duplicates.txt | uniq -u