uniqコマンド

uniqコマンドは、ファイルから連続する重複行を除外し、一意の行だけを表示します。

duplicates.txt があります:

apple
banana
apple
cherry
banana
banana

重要: uniq は隣り合っている重複のみを削除します。そのため、ほとんどの場合、最初に sort と組み合わせて使用します:

sort duplicates.txt | uniq

| 記号はパイプと呼ばれます。あるコマンドの出力を別のコマンドの入力として渡します。これは、ターミナルで頻繁に使う強力なパターンです。

便利なフラグ：

-c：各行の前に、その行が現れる回数のカウントを付けます：

sort duplicates.txt | uniq -c
      2 apple
      3 banana
      1 cherry

-d: 重複している行のみを表示します。

sort duplicates.txt | uniq -d

-u: ちょうど1回だけ現れる行のみを表示します：

sort duplicates.txt | uniq -u