Команда uniq

Команда uniq отфильтровывает последовательные дублирующиеся строки из файла, показывая только уникальные строки.

У нас есть duplicates.txt:

apple
banana
apple
cherry
banana
banana

Важно: uniq удаляет только дубликаты, которые находятся рядом друг с другом. Поэтому почти всегда сначала используется sort:

sort duplicates.txt | uniq

Символ | называется конвейером. Он отправляет вывод одной команды в качестве входных данных для другой. Это мощный шаблон, который ты часто будешь использовать в терминале.

Полезные флаги:

-c: добавляет перед каждой строкой количество раз, которое она встречается:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d: показывать только строки, которые являются дубликатами:

sort duplicates.txt | uniq -d

-u: показывать только строки, которые встречаются ровно один раз:

sort duplicates.txt | uniq -u