Команда uniq

Команда uniq отфильтровывает последовательные повторяющиеся строки в файле, показывая только уникальные строки.

У нас есть duplicates.txt:

apple
banana
apple
cherry
banana
banana

Важно: uniq удаляет только дубликаты, которые расположены рядом друг с другом. Поэтому его почти всегда сначала используют вместе с sort:

sort duplicates.txt | uniq

Символ | называется вертикальной чертой. Он передаёт вывод одной команды на вход другой. Это мощный приём, который ты будешь часто использовать в терминале.

Полезные флаги:

-c: добавлять в начале каждой строки количество её повторений:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d: показывать только дублирующиеся строки:

sort duplicates.txt | uniq -d

-u: показывать только строки, которые встречаются ровно один раз:

sort duplicates.txt | uniq -u