ソートせずに重複行を削除

重複行を削除する一般的なのはsortしてuniqする方法。
sort foo | uniq もしくは sort -u foo。
しかし、順序を保持したいときは awk '!a[$0]++' foo とすれば良い。