Команда uniq

Команда uniq удаляет последовательно повторяющиеся строки из файла, показывая только уникальные строки.

У нас есть duplicates.txt:

apple
banana
apple
cherry
banana
banana

Важно: uniq удаляет только дубликаты, которые находятся рядом друг с другом. Поэтому его почти всегда используют вместе с sort в первую очередь:

sort duplicates.txt | uniq

Символ | называется конвейером — он направляет вывод одной команды на вход другой. Это мощный шаблон, который вы будете часто использовать в терминале.

Полезные флаги:

-c — добавляет перед каждой строкой количество её повторений:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d — показывать только строки, которые дублированы:

sort duplicates.txt | uniq -d

-u — показывать только строки, которые встречаются ровно один раз:

sort duplicates.txt | uniq -u