uniqコマンド

uniqコマンドは、ファイルから連続する重複行を取り除き、一意な行だけを表示します。

duplicates.txtがあります。

apple
banana
apple
cherry
banana
banana

重要：uniqは隣り合っている重複だけを削除します。そのため、ほとんどの場合、最初にsortと組み合わせて使います。

sort duplicates.txt | uniq

|記号はパイプと呼ばれます。あるコマンドの出力を別のコマンドの入力として渡します。これは、ターミナルでよく使う強力なパターンです。

便利なフラグ：

-c: 各行の先頭に、その行が何回出現するかをカウントして付けます:

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d: 重複している行だけを表示します：

sort duplicates.txt | uniq -d

-u: ちょうど1回だけ現れる行のみを表示します。

sort duplicates.txt | uniq -u