Distcc
Distcc は C, C++, Objective C, Objective C++ のコードのビルドをネットワーク上の複数のマシンに分散させるプログラムです。distcc は常にローカルビルドと同じ結果を生成し、インストールと使用方法がシンプルで、ローカルコンパイルよりもずっと高速です。pacman/srcpac と一緒に使うことができます。
用語
- マスター
- コンパイルを開始して設定済みのスレーブにコンパイルを分散させるコンピューター。
- スレーブ
- distcc デーモンが動いており、マスターからコンパイルリクエストを受け取る。
インストール
公式リポジトリからクラスタの PC 全てに distcc パッケージをインストールしてください。
他のディストロや、Cygwin を使用する Windows など他の OS を使う場合は、distcc のドキュメント を参照してください。
設定
スレーブ
スレーブの設定は /etc/conf.d/distccd
に保存します。利用できるコマンドラインオプションは distcc マニュアル に記載されています。最低でも、許可するアドレスの範囲を CIDR 形式で指定してください:
DISTCC_ARGS="--allow 192.168.0.0/24"
アドレスの範囲を CIDR 形式に変換するツールが次のページにあります: CIDR Utility Tool。
コンパイルに参加する全てのスレーブで distccd.service
を起動してください。起動時に distccd.service
を実行させるには、全てのマシンでサービスを有効化してください。
マスター
スタンドアロン
マスターで設定する distcc の最小設定は、利用するスレーブの設定です。環境変数 DISTCC_HOSTS
や $DISTCC_HOSTS
, $DISTCC_DIR/hosts
, ~/.distcc/hosts
, /etc/distcc/hosts
などの設定ファイルでアドレスを指定することで設定できます。
DISTCC_HOSTS
を使ってスレーブのアドレスを設定する例:
$ export DISTCC_HOSTS="192.168.0.3,lzo,cpp 192.168.0.4,lzo,cpp"
hosts
設定ファイルでスレーブのアドレスを設定する例:
~/.distcc/hosts
192.168.0.3,lzo,cpp 192.168.0.4,lzo,cpp
サーバーのアドレスを明示的に指定する代わりに、avahi の zeroconf モードを使うこともできます。このモードを使うにはサーバーアドレスのところに +zeroconf
と記述して、スレーブ側で distcc デーモンを --zeroconf
オプションを使って起動するようにしてください。このオプションは pump モードをサポートしてないので注意してください。
上記の例ではアドレスに以下のオプションを追加しています:
lzo
: TCP と SSH ホスト (スレーブ) で LZO 圧縮を使う。cpp
: ホスト (スレーブ) で distcc-pump モードを使う。サーバーを起動するにはビルドコマンドを pump スクリプトでラッピングする必要があるので注意。
pump モードの説明は次のページにあります: HOW DISTCC-PUMP MODE WORKS と distcc's pump mode: A New Design for Distributed C/C++ Compilation 。
スレーブで distcc-pump モードを使うには、pump スクリプトを使ってコンパイルを開始する必要があります。そうしないとコンパイルは失敗します。
Makepkg
/etc/makepkg.conf
の以下の3つのセクションを編集してください:
- BUILDENV で distcc の前のエクスクラメーションポイントを外して有効にしてください。
- DISTCC_HOSTS 行をアンコメントして、スレーブの IP アドレスとスラッシュ、使用するスレッドの数を追加してください。後ろの IP アドレスとスレッドは空白で区切ります。リストは一番強力なサーバーから非力なサーバーの順で並べます (処理能力)。
- MAKEFLAGS 変数を個々のサーバーの最大スレッド数をすべて合計した数字にしてください。下の例の場合、5+3+3=11 になります。合計数以上を指定した場合、余った論理スレッドは distcc によってブロックされ、下で説明している distccmon-text などの監視ユーティリティでそのように表示されます。
例:
BUILDENV=(distcc fakeroot color !ccache !check) MAKEFLAGS="-j11" DISTCC_HOSTS="192.168.0.2/5 192.168.0.3/3 192.168.0.4/3"
SSH を通して distcc を使いたい場合、セクションの IP アドレスの前に "@" シンボルを追加してください。キーベースの認証をセットアップしていないときは、認証済みのホストのチェックを無視するように DISTCC_SSH 変数を設定してください: DISTCC_SSH="ssh -i"
。
コンパイル
スタンドアロン
distcc の pump モードを使ってソースファイルをコンパイルするには、次のコマンドを使用します:
$ pump distcc g++ -c hello_world.cpp
この場合 pump スクリプトは distcc を実行してから "-c hello_world.cpp" をパラメータとして g++ を呼び出します。
Makefile プロジェクトをコンパイルするには、まずコンパイラによって設定される変数を確認する必要があります。例えば、gzip-1.6 の場合、Makefile の中に次の行を見つけることができます: CC = gcc -std=gnu99
。基本的に CC
は C プロジェクトで使われる変数で、CXX
は C++ プロジェクトで使われる変数です。distcc を使ってプロジェクトをコンパイルするには以下のようにします:
$ wget ftp://ftp.gnu.org/pub/gnu/gzip/gzip-1.6.tar.xz $ tar xf gzip-1.6.tar.xz $ cd gzip-1.6 $ ./configure $ pump make -j2 CC="distcc gcc -std=gnu99"
上記例では distcc の pump モードによって2つのコンパイルスレッドを使って gzip をコンパイルします。-j
の設定については What -j level to use? を見て下さい。
Makepkg
通常通り makepkg でコンパイルしてください。
進捗を見る
複数の方法で進行状況を確認することができます。
- distccmon-text
- ログファイルを tail で表示する
distccmon-text を実行してコンパイル状況をチェックします:
$ distccmon-text 29291 Preprocess probe_64.c 192.168.0.2[0] 30954 Compile apic_noop.c 192.168.0.2[0] 30932 Preprocess kfifo.c 192.168.0.2[0] 30919 Compile blk-core.c 192.168.0.2[1] 30969 Compile i915_gem_debug.c 192.168.0.2[3] 30444 Compile block_dev.c 192.168.0.3[1] 30904 Compile compat.c 192.168.0.3[2] 30891 Compile hugetlb.c 192.168.0.3[3] 30458 Compile catalog.c 192.168.0.4[0] 30496 Compile ulpqueue.c 192.168.0.4[2] 30506 Compile alloc.c 192.168.0.4[0]
プログラムを持続的に実行させるには、watch を使うか、コマンドに空白と繰り返す待機秒数を加えます:
$ watch distccmon-text
または
$ distccmon-text 2
デーモンで /var/log/messages.log
を tail することもできます:
# tail -f /var/log/messages.log
distcc で "クロスコンパイル"
X86
現在、x86_64 環境から i686 のパッケージをビルドするのに、distcc でクラスタに作業を分散させる方法は2つ存在します。どちらも理想的とは言いがたいですが、今のところ、この2つの方法しかドキュメントになっていません。
An ideal setup is one that uses the unmodified ARCH packages for distccd running only once one each node regardless of building from the native environment or from within a chroot AND one that works with makepkg. Again, this Utopian setup is not currently known.
A discussion thread has been started on the topic; feel free to contribute.
Chroot を使う方法 (推奨)
32ビットの chroot を distcc クラスタの各ノードに設定したら、各ノードで2つの distccd インスタンスを別々のポートで実行させます。片方はネイティブの x86_64 環境で実行させ、もう片方は x86 chroot で動かします。makepkg は schroot コマンドを通して実行します。
i686 chroot の DISTCC_HOSTS にポート番号を追加する
以下のように /opt/arch32/etc/makepkg.conf
の各ホストにポート番号 (3692) を追加してください:
DISTCC_HOSTS="192.168.1.101/5:3692 192.168.1.102/5:3692 192.168.1.103/3:3692"
ネイティブ環境から makepkg を呼び出す
ネイティブの x86_64 環境に schroot をセットアップしてください。ネイティブの x86_64 環境から makepkg を実行して i686 パッケージのビルドをするには:
$ schroot -p -- makepkg -src
Multilib GCC を使う方法 (非推奨)
/etc/pacman.conf
を編集して [multilib] リポジトリをアンコメントしてください:
[multilib] Include = /etc/pacman.d/mirrorlist
公式リポジトリから gcc-multilib をインストールしてください。
$HOME/.makepkg.conf
に以下の行を追加するだけで x86_64 で i686 用のパッケージをコンパイルできます:
CARCH="i686" CHOST="i686-pc-linux-gnu" CFLAGS="-march=i686 -O2 -pipe -m32" CXXFLAGS="${CFLAGS}"
次のコマンドで makepkg を呼び出して下さい:
$ linux32 makepkg -src
i686 パッケージをコンパイルし終わった後は $HOME/.makepkg.conf
を忘れずに削除または修正してください。
他のアーキテクチャ
他のアーキテクチャを対象にクロスコンパイルを行いたい場合、スレーブ上にクロスコンパイル環境をインストールする必要があります。クロスコンパイルツールチェインをビルドするか、設定済みのツールチェインを使って下さい。このセクションでは主として ARM のクロスコンパイルツールチェインを扱っていますが、ほとんどの場合、他のアーキテクチャにも適用できるはずです。ツールチェインを入手する方法は複数存在します:
- EmbToolkit: クロスコンパイルツールチェインを作成するためのツール。ARM と MIPS アーキテクチャをサポートしており、LLVM ベースのツールチェインのビルドをサポートしています。
- crosstool-ng: EmbToolkit と同じようなツール。EmbToolkit よりも多数のアーキテクチャをサポートしています (詳しくはウェブサイトを参照)。
- Linaro: ARM 開発用のツールチェインを提供しています。
EmbToolkit
にはツールチェインを設定するためのグラフィカルな設定メニュー (make xconfig
) が付属しています。
クロスコンパイラフォルダにするツリーの全てのフォルダについて others グループの実行ビットを設定してください。また、others グループのユーザーがコンパイラコマンドを実行できるようにしてください。この設定は distcc デーモンが基本的にユーザー nobody
として起動されるために必要になります (/lib/systemd/system/distccd.service
からユーザーを変更できます)。
通常、実行可能ファイルにはプリフィックスが付きます。例えば gcc
は以下のようになります: arm-unknown-linux-gnueabihf-gcc
。distcc が使用する名前と一致するように、バイナリファイルが存在するフォルダで以下のスクリプトを実行してください:
create_links.sh
#!/bin/bash for file in `ls`; do if [[ "$file" == "link" ]]; then continue fi ln -s $file ${file#$1} done if [[ ! -f cc ]]; then ln -s $1gcc cc fi
スクリプトに実行可能属性を付与してから:
$ chmod +x create_links.sh
スクリプトを実行してください:
$ ./create_links.sh arm-cortex_a8-linux-gnueabihf-
最初にクロスコンパイラが見つけられるように distcc のパスの設定を変更します:
/etc/conf.d/distccd
# # Parameters to be passed to distccd # # You must explicitly add IPs (or subnets) that are allowed to connect, # using the --allow switch. See the distccd manpage for more info. # PATH=/home/martin/abs/embtoolkit-1.7.0/generated/tools-arm-linux-cortex-a8/bin:${PATH} DISTCC_ARGS="--allow 10.42.0.0/24 --verbose"
それから distcc.service
を再起動してください。
トラブルシューティング
Journalctl
問題が発生したときは journalctl
を使って原因を確認してください:
$ journalctl $(which distccd) -e --since "5 min ago"
code 110
distcc デーモンのプロセスが起動されるユーザーアカウント (デフォルトは nobody) でツールチェインが正しく機能することを確認してください。以下ではユーザー nobody でツールチェインが動作することをテストします。/etc/passwd
で nobody ユーザーのログインを以下のように変更してください:
$ cat /etc/passwd
... nobody:x:99:99:nobody:/:/bin/bash ...
それからクロスコンパイラのバイナリが存在するディレクトリに cd してからコンパイラの実行を試行します:
# su nobody $ ./gcc --version bash: ./gcc: Permission denied
上記のエラーが発生する場合、#他のアーキテクチャ に記述されているグループパーミッションの設定を正しく行ったか確認してください。
変更を行った後は /etc/passwd
を元に戻すようにしましょう。
ログレベルを設定する
デフォルトでは、distcc は /var/log/messages.log
にログを出力します。このログはファイルに直接出力することができます (distccd の man ページで実際に推奨されています)。ログファイルを /tmp
を使って RAM 上に配置することも可能です。また、ログファイルに出力されるエラーのログレベルを下げることもできます。接続のエントリよりもエラーメッセージを見たいというときに有用です。LEVEL は標準的な syslog のレベルで設定でき critical, error, warning, notice, info, debug などを指定します。
以下の行を /etc/conf.d/distccd
の DISTCC_ARGS に追記してください:
DISTCC_ARGS="--user nobody --allow 192.168.0.0/24 --log-level error --log-file /tmp/distccd.log"
CMake などのツールでビルドが失敗する
CMake はときどき gcc に "レスポンスファイル" を渡すことがありますが、distcc はレスポンスファイルを扱うことができません。パッチファイル は存在しているのですが、上流のコードには適用されていないようです。この問題が発生する場合は、このファイルをパスするか AUR の distcc-rspAUR パッケージを使って下さい。
HDD/SSD の使用量を制限する
$HOME/.distcc を移動する
デフォルトでは、distcc は $HOME/.distcc
を作成して、一時的に情報を保存してノードにコンパイルさせる作業を割り当てます。/tmp
などの RAM に .distcc という名前のディレクトリを作成して $HOME の .distcc にソフトリンクします。これで無駄な HDD の読み書きが減ります。特に SSD の場合は効果的です。
$ mv $HOME/.distcc /tmp $ ln -s /tmp/.distcc $HOME/.distcc
systemd を使って再起動時にこのディレクトリを再作成 (他のファイルと同じように手動で削除されるまでソフトリンクは消えません) します。以下の tmpfile を作成:
/etc/tmpfiles.d/tmpfs-create.conf
d /tmp/.distcc 0755 <username> users -