Distcc

関連記事

• TORQUE
• Slurm

Distcc は C, C++, Objective C, Objective C++ のコードのビルドをネットワーク上の複数のマシンに分散させるプログラムです。distcc は常にローカルビルドと同じ結果を生成し、インストールと使用方法がシンプルで、ローカルコンパイルよりもずっと高速です。makepkg などの Arch のビルドツールで使うことができます。

用語

client

client は、コンパイルを開始するコンピューターです。

volunteer

volunteer は、client から送信されたコンパイル要求を受け入れるコンピューターです。複数の volunteer をセットアップすることも、単一の volunteer をセットアップすることもできます。

インストール

クラスタの PC 全てに distcc パッケージをインストールしてください。

他のディストロや、Cygwin を使用する Windows など他の OS を使う場合は、distcc のドキュメント を参照してください。

設定

動作モード

Distcc は、Plain mode (デフォルト) または Pump モードで実行できます。大まかに言えば、主な違いは、distcc が前処理されたソースを処理する方法にあります。Plain mode では、完全なソースとコンパイラ引数が転送されます。前処理はクライアント上で保持されます。Pump モードでは、前処理とコンパイルの両方が distcc クラスターに分散され、多くの場合、より効率的かつ高速になります。詳細については、distcc(1) を参照してください。

Volunteers

Volunteers の設定は /etc/conf.d/distccd に保存されます。少なくとも、多くの ipv4 プライベートネットワーク範囲をカバーする --allow-private スイッチを追加するか、ipv6 対応ネットワークがある場合は ipv6 CIDR で --allow を使用します。ファイルへのログ記録は、必要に応じてトラブルシューティングにも役立ちます。

DISTCC_ARGS="--allow-private --log-file /tmp/distccd.log"

または、IPv6 アクセスを許可する必要があり、ネットワーク CIDR が /64 である場合:

DISTCC_ARGS="--allow-private --allow aaaa:bbbb:cccc:dddd:eeee:::/64 --log-file /tmp/distccd.log"

マシン上に複数のインターフェイスが存在する場合は、--listen ADDRESS オプションも渡すことを検討してください。他のオプションも定義できます。distccd(1) を参照してください。

参加しているすべての Volunteers の distccd.service を 起動/有効化 します。

クライアント

makepkg を使用する場合

次のセクションの /etc/makepkg.conf を編集します。

1. BUILDENV 配列には distcc をアンバンする必要があります。つまり、感嘆符なしでリストする必要があります。
2. DISTCC_HOSTS 行のコメントを解除し、Volunteers のホスト名または IP アドレスを追加します。必要に応じて、この後にスラッシュと使用するスレッドの最大数を続けます。後続のノードは空白で区切る必要があります。このリストは、最も強力なものから (処理能力) の順に並べる必要があります。
3. サーバーあたりの最大スレッド数の約 2 倍に相当するように MAKEFLAGS 変数を調整します。以下の例では、2x(9+5+5+3)=44 となります。

ノート: IP アドレスの代わりにホスト名を使用することもできますが、devtools ビルドスクリプトを使用してビルドすることが目的の場合、ビルドルートでの名前解決は現在サポートされていないため、このシナリオでは IP アドレスを使用してください。IP アドレスを使用するもう 1 つの理由は、名前解決のために pi-hole を実行しているネットワーク上です。pi-hole のログには distcc からのすべてのリクエストが記録され、ログに何千もの余分な行がスパム送信されるためです。

警告: -march=native フラグは、CFLAGS および CXXFLAGS 変数では使用できません。distccd は他のマシンに作業を分散しません。

真に汎用的な設定は存在しないことに注意してください。1 つ試してテストし、結果を他の設定と比較します。以下に、一般的な設定をいくつか示します。

Plain mode の例

BUILDENV=(distcc fakeroot color !ccache check !sign)
MAKEFLAGS="-j44"
DISTCC_HOSTS="localhost/9 192.168.10.2/5 192.168.10.3/5 192.168.10.4/3"

Pump mode の例

BUILDENV=(distcc fakeroot color !ccache check !sign)
MAKEFLAGS="-j70"
DISTCC_HOSTS="localhost/9 192.168.10.2,cpp,lzo 192.168.10.3,cpp,lzo 192.168.10.4,cpp,lzo"

ここで注意すべき点がいくつかあります。

• Pump mode は、一般に、Plain mode よりも、MAKEFLAGS の 値が高い方が良い性能を発揮します。
• Pump mode では、IPまたはホスト名は、Pump mode が要求するように、リテラル ',cpp,lzo' でサフィックスされます。さらに、この例の localhost はそうなっていません。これは、distcc が 9 つのジョブが定義された localhost をロードし、より積極的に有志にコード生成を分配することを意味します。より大規模なクラスタでは、クラスタへの分散処理を可能にするために、localhost 上のローカルジョブの数をより少なく制限したいと思うかもしれません。また、localhost の接尾辞に,cpp,lzo を使用することもできます。
• 前述したように、すべての distcc クラスタで効率的に動作する単一の設定はありません/最適な設定の決定は、テストとベンチマークを通じて経験的に導き出されます。

makepkg を使用しない場合

Plain mode の例

クライアント上の distcc の最小設定には、利用可能な Volunteers の設定と PATH の再定義が含まれます。

$ export PATH="/usr/lib/distcc/bin:$PATH"
$ export DISTCC_HOSTS="localhost/9 192.168.10.2/5 192.168.10.3/5 192.168.10.4/3"

Pump mode の例

$ export PATH="/usr/lib/distcc/bin:$PATH"
$ export DISTCC_HOSTS="localhost/9 192.168.10.2,cpp,lzo 192.168.10.3,cpp,lzo 192.168.10.4,cpp,lzo"

コンパイル

makepkg を使用する場合

Plain mode の例

/etc/makepkg.conf が設定されたら、特別な手順は必要ありません。通常どおり makepkg を呼び出すだけです。

Pump mode の例

ユーザーは、makepkg を使用するかシェル上でコンパイルする前に Pump を開始する必要があります。Pump には、正しく設定された一連の DISTCC_HOSTS があることを確認するチェックが含まれているため、最初に偽の DISTCC_HOSTS 行を定義する必要があります。makepkg は、/etc/makepkg.conf で指定された値を使用することに注意してください。

$ export DISTCC_HOSTS="localhost,cpp,lzo"
$ eval $(pump --startup)

ここで、通常どおり makepkg を呼び出します。

終了したら、必要に応じて Pump を停止します:

$ pump --shutdown

ヒント: makepkg を pump で呼び出すと、makepkg の終了後にインクルードサーバーが自動的に閉じられます。

makepkg を使用しない場合

Plain mode の例

#makepkg を使用しない場合 で説明されている 2 つの変数をエクスポートした後、コンパイラを呼び出すだけです:

$ make -j44

一部のプログラムでは、適切に動作するために CC 変数または CXX 変数、あるいはその両方を定義する必要がある場合があります:

$ make -j44 CC=distcc CXX=distcc

Pump mode の例

上図のように Pump を始動します。コンパイルは Plain mode の例と変わりません。

CMake を使用する場合

distcc で CMake ベースのプロジェクトをビルドするには、次の CMake オプションを使用します:

$ cmake -DCMAKE_C_COMPILER_LAUNCHER=distcc -DCMAKE_CXX_COMPILER_LAUNCHER=distcc ...

進捗を見る

distcc には、コンパイルステータスをチェックするために使用できる cli モニター distccmon-text が付属しています。

cliモニターは、繰り返しクエリーを待つ秒数に相当するスペースと整数をコマンドに付加することで、連続的に実行できます:

$ distccmon-text 3

29291 Preprocess  probe_64.c                                 192.168.10.2[0]
30954 Compile     apic_noop.c                                192.168.10.2[0]
30932 Preprocess  kfifo.c                                    192.168.10.2[0]
30919 Compile     blk-core.c                                 192.168.10.2[1]
30969 Compile     i915_gem_debug.c                           192.168.10.2[3]
30444 Compile     block_dev.c                                192.168.10.3[1]
30904 Compile     compat.c                                   192.168.10.3[2]
30891 Compile     hugetlb.c                                  192.168.10.3[3]
30458 Compile     catalog.c                                  192.168.10.4[0]
30496 Compile     ulpqueue.c                                 192.168.10.4[2]
30506 Compile     alloc.c                                    192.168.10.4[0]

distcc でクロスコンパイル

distcc を使用すると、クロスコンパイルを支援できます:

• ターゲットアーキテクチャを実行しているマシンをクライアントとして使用する必要があります。
• 非ネイティブアーキテクチャのボランティアがコンパイルを支援しますが、対応するツールチェーンがインストールされていて、それを指す distccd が必要です。

クライアントとしての Arch Linux ARM (ボランティアとしての x86_64)

このセクションでは、Arch Linux (x86_64) ボランティアを使用して Arch ARM デバイスのクロスコンパイルを支援する方法について詳しく説明します。ARM デバイスのコンパイルを支援する 1 台の x86_64 マシンだけで 2 〜 4 倍程度の速度向上が実現できるという証拠については、これらのテスト を参照してください。

ボランティア

Arch ARM 開発者は、x86_64 ボランティアにインストールする必要がある公式プロジェクト ツールチェーン を使用することを 強く 推奨します。これらを手動で管理するのではなく、AUR は 2 つのツールチェーンと構成および systemd サービス ユニットを提供します。

• distccd-alarm-armv7h^AUR
• distccd-alarm-armv8^AUR

arm/arm64 ツールチェーンを含むボランティアのセットアップは、構成と systemd サービスファイルの名前がそれぞれのパッケージの名前と一致することを除いて、#ボランティア と同じです。たとえば、armv7h の場合、設定ファイルは /etc/conf.d/distccd-'armv7h で、systemd サービスユニットは distccd-armv7h.service です。

各ツールチェーンは固有のポート上で実行されるため、必要に応じて 4 つすべてがボランティア上で共存できることに注意してください。カテゴリ:ファイアウォール と distcc(1) を参照して、distcc が実行されているポートへのトラフィックを必ず許可してください。

ターゲットアーキテクチャ	Distcc ポート
armv7h	3635
armv8h/aarch64	3636

クライアント

Arch ARM クライアントをセットアップする最も簡単な方法は、distccd-arch-arm^AUR を使用することです。これは、Arch ARM の 4 つのフレーバーすべてをカバーする 4 つの構成すべてと systemd サービスユニットを提供します。たとえば、Arch ARM クライアントが armv7h イメージを実行している場合は、必要に応じて /etc/conf.d/distccd-armv7h を編集し、そのデフォルトを変更します。ビルドの準備ができたら、distccd-armv7h.service 有効化 してコンパイルします。

より詳細なチュートリアルについては、use-examples を参照してください。

上記の AUR パッケージを使用せずにクライアントをセットアップしたい場合、クライアントの手動セットアップは #クライアント と同じですが、次の 2 つのファイルを変更してボランティアが使用する非標準ポートを定義する必要がある点が異なります。AUR パッケージを使用する場合は、上の表を参照してください。

1. /etc/conf.d/distccd:armv7h マシンの例: DISTCC_ARGS="--allow-private --log-level info --log-file /tmp/distccd-armv7h.log --port 3635"
2. /etc/makepkg.conf: armv7h マシンの例: DISTCC_HOSTS="192.168.10.2/5:3635 192.168.10.3/5:3635"

ARM クライアント上の localhost に関する注意事項

x86_64 ボランティアを使用して Arch ARM デバイス上に構築する場合、多くの ARM デバイスには必要な処理能力がないため、localhost ディレクティブを DISTCC_HOSTS から除外することを強くお勧めします。

この効果を説明するために、Linux カーネルバージョン 5.10.44' のイメージターゲットをコンパイルする次の例を考えてみましょう。クライアントは RPi4B (aarch64) で、ボランティア (192.168.1.288) はクアッドコア/ハイパースレッドの Intel マシンです。各コンパイルジョブは 1 回だけ実行され、その合間に make clean が実行されました。

Running make -j15 Image CC=distcc CXX=distcc

DISTCC_HOSTS=	タイム (mm:ss)	Fold slower
"192.168.1.288:3636/9"	6:50	-
"localhost/5 192.168.1.288:3636/9"	10:34	2.8x
"192.168.1.288:3636/9 localhost/5"	10:13	2.7x

クライアントとしての Arch Linux (x86_64) (ボランティアとしての Arch ARM)

このセクションでは、Arch ARM ボランティアを使用して x86_64 クライアントのクロスコンパイルを支援する方法について詳しく説明します。コンパイル時間が大幅に長くなる可能性があることを示す証拠については、these testing を参照してください。Arch ARM ボランティアを 1 人でも使用すると速度が向上し、最大 2 つでその効果が 2 倍になります。

クライアント

クライアントのセットアップは #クライアント と同じで、distcc は標準ポート 3632 で実行されます。

ボランティア

distccd-x86_64^AUR は、クロスコンパイルを可能にするために Arch ARM デバイスにインストールするツールチェーンを提供します。

追加のツールチェーン

• EmbToolkit: クロスコンパイルツールチェインを作成するためのツール。ARM と MIPS アーキテクチャをサポートしており、LLVM ベースのツールチェインのビルドをサポートしています。
• crosstool-ng: EmbToolkit と同じようなツール。EmbToolkit よりも多数のアーキテクチャをサポートしています (詳しくはウェブサイトを参照)。
• Linaro: ARM 開発用のツールチェインを提供しています。

EmbToolkit にはツールチェインを設定するためのグラフィカルな設定メニュー (make xconfig) が付属しています。

トラブルシューティング

ArchLinux カーネルパッケージをコンパイルするコツ

公式の PKGBUILD (または AUR からの多く)からカーネルをビルドする場合は、ビルドコマンドの一部としてCC=distcc 変数と CXX=distcc 変数を渡すように PKGBUILD を編集する必要があります。

make bzImage modules htmldocs CC=distcc CXX=distcc

これを行わないと、ビルド中に distcc が機能しなくなります。 FS#64275 を参照してください。

chromium をコンパイルするコツ

clang を使用する chromium のコンパイルは、現在 issue#386 の影響を受けています。 バグを回避するには、 [1] に従って PKGBUILD の _flags 配列に以下を追加します。 こちら ブログ:

'clang_use_default_sample_profile=false'
'is_cfi=false'

Journalctl

問題が発生したときは journalctl を使って原因を確認してください:

$ journalctl $(which distccd) -e --since "5 min ago"

ログレベルを設定する

デフォルトでは、distcc は /var/log/messages.log にログを出力します。このログはファイルに直接出力することができます (distccd の man ページで実際に推奨されています)。ログファイルを /tmp を使って RAM 上に配置することも可能です。また、ログファイルに出力されるエラーのログレベルを下げることもできます。接続のエントリよりもエラーメッセージを見たいというときに有用です。LEVEL は標準的な syslog のレベルで設定でき critical, error, warning, notice, info, debug などを指定します。

以下の行を /etc/conf.d/distccd の DISTCC_ARGS に追記してください:

DISTCC_ARGS="--user nobody --allow 192.168.0.0/24 --log-level error --log-file /tmp/distccd.log"

$HOME/.distcc を移動して HDD/SSD の使用量を制限する

デフォルトでは、distcc は $HOME/.distcc を作成して、一時的に情報を保存してノードにコンパイルさせる作業を割り当てます。/tmp などの RAM に .distcc という名前のディレクトリを作成して $HOME の .distcc にソフトリンクします。これで無駄な HDD の読み書きが減ります。特に SSD の場合は効果的です。

$ mv $HOME/.distcc /tmp
$ ln -s /tmp/.distcc $HOME/.distcc

systemd を使って再起動時にこのディレクトリを再作成 (他のファイルと同じように手動で削除されるまでソフトリンクは消えません) します。以下の tmpfile を作成:

/etc/tmpfiles.d/tmpfs-create.conf

d /tmp/.distcc 0755 <username> users -

distccd-alarm の場合

No such file or directory

次のようなエラーは、ユーザが distcc によって提供される distccd サービスを誤って実行しており、 distccd-alarm パッケージ (つまり、distccd-alarm-armv5^AUR、 distccd-alarm-armv6h^AUR、distccd-alarm-armv7h^AUR、 または distccd-alarm-armv8^AURです。) によって提供されていないことを示します。

ターゲットアーキテクチャに適したサービスを開始してください。

distcc[25479] (dcc_execvp) ERROR: failed to exec armv7l-unknown-linux-gnueabihf-g++: No such file or directory

distccd.service の起動時に Avahi-daemon が発行を停止する

distccd.service をサービスとして起動すると、 avahi-daemon の動作が停止する場合があります。これは、 avahi-daemon.service のユニットファイル (ユニットファイルの編集 を参照してください。) を編集し、 [Unit] セクションの最後に After=distccd.service を追加することで、 avahi-daemon.service が distccd.service の後に開始されるようにすることで軽減できます。

/etc/systemd/system/avahi-daemon.service

...

[Unit]
Description=Avahi mDNS/DNS-SD Stack
Requires=avahi-daemon.socket
After=distccd.service

...

参照

• https://github.com/distcc/distcc

• icecream^AUR - An easier to configure fork of distcc.