Команда uniq

Команда uniq отфильтровывает повторяющиеся подряд строки из файла, показывая только уникальные строки.

У нас есть duplicates.txt:

apple
banana
apple
cherry
banana
banana

Важно: uniq удаляет только те дубликаты, которые находятся рядом друг с другом. Поэтому утилиту почти всегда используют сначала в сочетании с sort:

sort duplicates.txt | uniq

Символ | называется пайпом (или конвейером) — он передает вывод одной команды на вход другой. Это мощный паттерн, который вы будете часто использовать в терминале.

Полезные флаги:

-c — добавить перед каждой строкой количество её повторений:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d — выводить только строки, которые дублируются:

sort duplicates.txt | uniq -d

-u — выводить только строки, которые встречаются ровно один раз:

sort duplicates.txt | uniq -u