uniqコマンド

uniq コマンドは、ファイルから連続する重複行を取り除き、一意の行だけを表示します。

duplicates.txt があります:

apple
banana
apple
cherry
banana
banana

重要: uniq は隣り合っている重複のみを削除します。そのため、通常はまず sort と組み合わせて使用されます:

sort duplicates.txt | uniq

| 記号はパイプと呼ばれます — あるコマンドの出力を別のコマンドの入力として送信します。これはターミナルでよく使用する強力なパターンです。

便利なフラグ:

-c — 各行の先頭にその行が出現した回数を付加します:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d — 重複している行のみを表示します:

sort duplicates.txt | uniq -d

-u — 1回のみ出現する行だけを表示します：

sort duplicates.txt | uniq -u