「Core utilities」の版間の差分

2015年8月16日 (日) 15:24時点における版

この記事では less, ls, grep などの GNU/Linux システムのコアユーティリティを扱っています。この記事の扱う範囲は GNU coreutils パッケージに含まれているユーティリティに留まりません。ユーティリティに関連する様々なヒント・小技、その他便利な情報を載せています。

基本コマンド

以下の表には全ての Linux ユーザーが知っておくべき基本的なシェルコマンドを載せています。太字のコマンドはシェルに含まれており、その他のコマンドはシェルとは別個のプログラムです。詳しくは下のセクションや関連記事を見て下さい。

コマンド	説明	例
man	コマンドのマニュアルページを表示	man ed
cd	ディレクトリを変更	cd /etc/pacman.d
mkdir	ディレクトリを作成	mkdir ~/newfolder
rmdir	空のディレクトリを削除	rmdir ~/emptyfolder
rm	ファイルを削除	rm ~/file.txt
rm -r	ディレクトリとその中身を削除	rm -r ~/.cache
ls	ファイルを一覧表示	ls *.avi
ls -a	隠しファイルを一覧表示	ls -a /home/archie
ls -al	隠しファイルとファイルのプロパティを一覧表示
mv	ファイルを移動	mv ~/compressed.zip ~/archive/compressed2.zip
cp	ファイルをコピー	cp ~/.bashrc ~/.bashrc.bak
chmod +x	ファイルに実行可能属性を付与	chmod +x ~/.local/bin/myscript.sh
cat	ファイルの中身を表示	cat /etc/hostname
strings	バイナリファイル内の出力可能文字を表示	strings /usr/bin/free
find	ファイルを検索	find ~ -name myfile
mount	パーティションをマウント	mount /dev/sdc1 /media/usb
df -h	パーティションの残り容量を表示
ps -A	実行中のプロセスを表示
killall	プロセスの実行中のインスタンスを終了

cat

cat (catenate) はファイルを連結して表示する標準の Unix ユーティリティです。

cat はシェルにビルトインされていないため、多くの場合でリダイレクションを使ったほうが便利です (例: スクリプト、もしくはパフォーマンスが必要な場合)。実際 < file は cat file と全く同じです。

cat は複数行でも動作しますが、バッドプラクティスとして扱われることもあります:

$ cat << EOF >> path/file
first line
...
last line
EOF

代わりに echo コマンドを使うほうが良いでしょう:

$ echo "\
first line
...
last line" \
>> path/file

ファイルの行を逆順で cat する必要がある場合、tac (cat reversed) という名前のユーティリティがあります。

dd

dd は主にファイルを変換・コピーするために使われる Unix や Unix ライクなオペレーティングシステムのコマンドです。

ノート: cp はいくつかのオペランドを除いて dd と同じですが、多目的のディスク消去作業向きには作られてはいません。

実行中に dd の進行度を確認する

デフォルトでは、dd は作業が完了するまで何も出力をしません。kill と USR1 シグナルを使うことでプログラムを終了することなく状態を出力させることが可能です。新しい root のターミナルを開いて次のコマンドを実行してください:

# killall -USR1 dd

ノート: これは動作中の全ての dd プロセスに影響を与えます。

もしくは:

# kill -USR1 pid_of_dd_command

例えば:

# kill -USR1 $(pidof dd)

これで dd は当面の進捗をターミナルに出力するようになります。例:

605+0 records in
605+0 records out
634388480 bytes (634 MB) copied, 8.17097 s, 77.6 MB/s

パイプビューアを使う

pv を使って dd のパイプラインを監視することもできます:

# dd if=/source/filestream | pv -monitor_options -s size_of_file | dd of=/destination/filestream

パイプビューアを使う場合は以下を bashrc や zshrc に追記すると楽です:

copy() {
    size=$(stat -c%s $1)
    dd if=$1 &> /dev/null | pv -petrb -s $size | dd of=$2
}

そして次のコマンドを使用して下さい:

# copy /source/file /destination/file

dd 派生

他の dd ライクなプログラムには定期的に状態を出力する (例: シンプルなプログレスバー) 機能があります。

dcfldd: dcfldd は dd にフォレンジクスやセキュリティの面で改良を加えたバージョンです。ほとんどの dd のパラメータを扱うことができステータスの出力もできます。dcfldd の最後の安定版は2006年12月19日にリリースされました。^[1]

ddrescue: GNU ddrescue はデータ復旧ツールです。ディスク消去でほとんどの場合無用な機能である読み込みエラーを無視できます。詳しくは公式マニュアルを見て下さい。

grep

grep (ed の g/re/p, global/regular expression/print から) は Unix のために書かれたコマンドラインの文章検索ユーティリティです。grep コマンドはファイルや標準入力から与えられた正規表現と一致する行を検索し、プログラムの標準出力に表示します。

grep はファイルを処理できるので、cat file | grep pattern のようなコンストラクトは grep pattern file に置き換えられます

VCS のソースコードを grep する場合、ack や the_silver_searcher などの最適化されたユーティリティが存在します。

出力のカラー化

grep のカラー出力は画面が美しくなるだけでなく regexp や grep の機能を学ぶのにとても便利です。

grep のデフォルトカラーを使うには、以下のエントリをシェルの設定ファイルに書いて下さい。例えば Bash を使っている場合:

~/.bashrc

alias grep='grep --color=auto'

また、GREP_OPTIONS 環境変数を設定することも可能ですが、これを使うと grep を使うスクリプトを壊してしまう可能性があるので注意してください [2]:

export GREP_OPTIONS='--color=auto'

ファイルの行番号を出力に含めたいときは、-n を追加してください:

alias grep='grep -n --color=auto'

環境変数 GREP_COLORS を使ってデフォルトとは異なる色を指定することもできます。

標準エラー出力

コマンドによっては標準エラー出力の方に出力が送信されることもありますが、grep は標準エラー出力を解釈しません。このような場合、標準エラー出力を標準出力にリダイレクトする必要があります:

$ command 2>&1 | grep args

もしくは Bash 4 の略式表記を使って:

$ command |& grep args

I/O Redirection を参照してください。

iconv

iconv は文字列のエンコーディングをあるコードセットから他のコードセットへ変換します。

次のコマンドはファイル foo を ISO-8859-15 から UTF-8 へ変換して foo.utf として保存します:

$ iconv -f ISO-8859-15 -t UTF-8 foo >foo.utf

詳しくは man iconv を読んで下さい。

ファイルを変換する

ヒント: mtime を変えてほしくない場合 iconv の代わりに recode を使うことができます。

sed とは異なり、iconv にはファイルを変換するオプションはありません。しかしながら、(moreutils に含まれている) sponge を使うことでファイルを変換することもできます:

$ iconv -f WINDOWS-1251 -t UTF-8 foobar.txt | sponge foobar.txt

詳しくは man sponge を参照。

ip

ip を使うことで Linux の IP ソフトウェアスタックにおけるネットワークデバイス・IP アドレス・ルーティングテーブルなどの情報を表示することができます。様々なコマンドを加えることで、オブジェクトの操作や設定をすることも可能です。

ノート: ip ユーティリティは iproute2 パッケージに含まれており、このパッケージは base グループに入っています。

オブジェクト	用途	man ページ
ip addr	プロトコルアドレス管理	ip-address
ip addrlabel	プロトコルアドレスラベル管理	ip-addrlabel
ip l2tp	tunnel ethernet over IP (L2TPv3)	ip-l2tp
ip link	ネットワークデバイス設定	ip-link
ip maddr	マルチキャストアドレス管理	ip-maddress
ip monitor	netlink メッセージの監視	ip-monitor
ip mroute	マルチキャストルーティングキャッシュ管理	ip-mroute
ip mrule	マルチキャストルーティングポリシー db のルール
ip neigh	neighbour/arp テーブル管理	ip-neighbour
ip netns	プロセスネットワーク名前空間管理	ip-netns
ip ntable	neighbour テーブル設定	ip-ntable
ip route	ルーティングテーブル管理	ip-route
ip rule	ルーティングポリシーデータベース管理	ip-rule
ip tcp_metrics	TCP Metrics の管理	ip-tcp_metrics
ip tunnel	トンネル設定	ip-tunnel
ip tuntap	TUN/TAP デバイスの管理
ip xfrm	IPsec ポリシーの管理	ip-xfrm

全てのオブジェクトで help コマンドが利用可能です。例えば、ip addr help と入力すればアドレスオブジェクトで利用できるコマンド構文が表示されます。高度な利用方法は iproute2 documentation を見て下さい。

ネットワーク設定の記事では実際問題として ip コマンドを様々な作業でどうやって使えばいいのか解説しています。

ノート: もしかしたら ifconfig コマンドの方が親しみがあるかもしれません。このコマンドは Linux の旧バージョンでインターフェイス設定に使われていました。現在 Arch Linux では廃止されているため、代わりに ip を使って下さい。

less

less はテキストファイルの中身を一画面単位で表示するのに使われるターミナルページャプログラムです。more や pg といった他のページャと同じですが、less はより高度なインターフェイスと完全な feature-set を提供します。

less の代替プログラムについてはアプリケーション一覧#ターミナルページャを見て下さい。

環境変数を使った出力のカラー化

以下の行をシェルの設定ファイルに加えて下さい:

~/.bashrc

export LESS=-R
export LESS_TERMCAP_me=$(printf '\e[0m')
export LESS_TERMCAP_se=$(printf '\e[0m')
export LESS_TERMCAP_ue=$(printf '\e[0m')
export LESS_TERMCAP_mb=$(printf '\e[1;32m')
export LESS_TERMCAP_md=$(printf '\e[1;34m')
export LESS_TERMCAP_us=$(printf '\e[1;32m')
export LESS_TERMCAP_so=$(printf '\e[1;44;1m')

値は好きなように変更してください。参照: ANSI escape code。

ラッパーを使った出力のカラー化

less でシンタックスハイライトを有効にすることができます。まず、source-highlight をインストールし、次に以下の行をシェルの設定ファイルに追加してください:

~/.bashrc

export LESSOPEN="| /usr/bin/source-highlight-esc.sh %s"
export LESS='-R '

コマンドラインインターフェイスを頻繁に使う場合 lesspipe をインストールすると良いかもしれません。

ページャを使ってアーカイブの中の圧縮されたファイルを表示することができるようになります:

$ less compressed_file.tar.gz

==> use tar_file:contained_file to view a file in the archive
-rw------- username/group  695 2008-01-04 19:24 compressed_file/content1
-rw------- username/group   43 2007-11-07 11:17 compressed_file/content2
compressed_file.tar.gz (END)

lesspipe はファイルタイプに関連付けられたコマンドの代替として (例えば python-html2text で HTML を閲覧する)、アーカイブ以外のファイルも less のインターフェイスに接続します。

lesspipe を有効にするにはログインしなおすか、/etc/profile.d/lesspipe.sh を実行してください。

もうひとつのページャとしての Vim

Vim (visual editor improved) にはテキストファイル・圧縮ファイル・バイナリ・ディレクトリの中身を表示するスクリプトが含まれています。次の行をシェルの設定ファイルに追加することでページャとして使うことが可能です:

~/.bashrc

alias less='/usr/share/vim/vim74/macros/less.sh'

また、less.sh マクロの代替も存在し、PAGER 環境変数として使えます。vimpager をインストールしてシェルの設定ファイルに以下を加えて下さい:

~/.bashrc

export PAGER='vimpager'
alias less=$PAGER

これで PAGER 環境変数を使うプログラム、git などはページャとして vim を使うようになります。

標準入力から読み取るときに出力をカラー化

ノート: 以下は export LESS=R に基づいているので、~/.bashrc や ~/.zshrc に #環境変数を使った出力のカラー化を追加することを推奨します。

コマンドを実行してページ表示するために標準出力 (stdout) を less にパイプする場合 (例: pacman -Qe | less)、出力がカラー化されないことに気づくかもしれません。stdout がインタラクティブターミナルであるかどうかを判別して、その場合はカラーのテキストを出力して、そうでない場合はカラーでないテキストを出力するようになっているのが原因です。stdout をファイルにリダイレクトしたいようなときはこれで構わないでしょうが (例: pacman -Qe > pkglst-backup.txt)、less で出力を表示したいような時はあまり望ましくありません。

インタラクティブ tty の検出を無効化するオプションがプログラムに存在することがあります:

# dmesg --color=always | less

プログラムに無効化オプションが存在しない場合、以下のユーティリティを使うことで stdout がインタラクティブターミナルであるかのように信じこませることができます:

stdoutisatty — isatty 関数のコールをキャッチする小さなプログラム。

https://github.com/lilydjwg/stdoutisatty. || stdoutisatty-git^AUR

例: stdoutisatty program | less

unbuffer — sh と Tcl ベースのスクリプト。

http://expect.sourceforge.net/example/unbuffer.man.html || expect

例: unbuffer program | less

もしくは、zsh の zpty モジュールを使って下さい [3]:

~/.zshrc

zmodload zsh/zpty

pty() {
	zpty pty-${UID} ${1+$@}
	if [[ ! -t 1 ]];then
		setopt local_traps
		trap '' INT
	fi
	zpty -r pty-${UID}
	zpty -d pty-${UID}
}

ptyless() {
	pty $@ | less
}

使用方法:

$ ptyless program

他のページャにパイプするには (例: less):

$ pty program | less

ls

ls (list) は Unix や Unix ライクなオペレーティングシステムで使われる、ファイルを一覧するコマンドです。

ls はファイルのパーミッションを表示できます。
カラー出力はシンプルなエイリアスで有効にできます。~/.bashrc ファイルには /etc/skel/.bashrc からコピーされた次のエントリが既に含まれているはずです:

alias ls='ls --color=auto'

次のステップはカラーになった ls 出力をさらに向上させることです; 例えば、壊れた (孤立した) シンボリックリンクを赤色で表示するようにします。以下をシェルの設定ファイルに追加してください:

eval $(dircolors -b)

mkdir

mkdir (make directory) はディレクトリを作成するコマンドです。

ディレクトリと階層全体を作るには、-p スイッチを使って下さい。そうしないとエラーが表示されます。-p スイッチをデフォルトで使うようにすることもできます:

alias mkdir='mkdir -p -v'

-v スイッチはメッセージを有効にします。

作成したディレクトリのモードを変更するのに chmod を使う必要はありません。-m オプションでアクセス権限を定義できます。

ヒント: 一時ディレクトリが欲しいときは代わりに mktemp (make termporary) を使って下さい: mktemp -p。

mv

mv (move) はファイルやディレクトリを移動したり名前の変更をするコマンドです。

危険なコマンドになる可能性があるので範囲に制限をかけたほうが賢明です:

alias mv=' timeout 8 mv -iv'

このエイリアスは8秒後に mv を中止し、3つ以上のファイルの削除を確認し、進行中の操作を表示し、(スペースから始まるコマンドを無視するようシェルが設定されている場合) シェルの history ファイルに操作を保存しません。

rm

rm (remove) はファイルやディレクトリを削除するコマンドです。

使い方によっては危険性があるので範囲に制限をかけると良いでしょう:

alias rm=' timeout 3 rm -Iv --one-file-system'

このエイリアスは3秒後に rm を中止し、3つ以上のファイルの削除を確認し、進行中の操作を表示し、複数のファイルシステムに影響を与えず、(スペースから始まるコマンドを無視するようシェルが設定されている場合) シェルの history ファイルに操作を保存しません。たった1つのファイルでも確認が必要ならば -I の代わりに -i を使って下さい。

Zsh のユーザーは timeout の前に noglob を記述することで暗示的な拡張を避けることができます。

空のディレクトリを削除するときは、rmdir を使ってください。

sed

sed (stream editor) は文章をパース・変換する Unix ユーティリティです。

ここに sed を使ったワンライナーのリストがあります。

ヒント: より強力に sed を置き換えるものとして AWK や Perl 言語があります。

seq

seq (sequence) は連続する数字を生成するユーティリティです。シェルに内蔵されている代替があるので、Wikipedia で説明されているように使うと良いでしょう。

which

which コマンドは実行可能ファイルのパスを確認したいときに便利です。例:

# journalctl $(which sshd)

motd

motd (Message of the day)。ログインが成功するとログインシェルが起動する前に login(1) によって /etc/motd の中身が表示されます。

ユーザーにローカルポリシーなど何か伝えたい時があるときに利用規約を表示すると良いでしょう。

参照

A sampling of coreutils , part 2 , part 3 - Overview of commands in coreutils
GNU Coreutils Manpage
Learn the DD command