TORQUE - 版の履歴

Kusanaginoturugi: 校正（でき・出来）

2024-07-10T12:05:42Z

校正（でき・出来）

← 古い版		2024年7月10日 (水) 21:05時点における版
126行目:		126行目:
	$ pbsnodes -a		$ pbsnodes -a

	''state'' が ''free'' となっていればノードはジョブを受け取る準備が出来ています。ノードが落ちている場合、state は ''down'' となります。		''state'' が ''free'' となっていればノードはジョブを受け取る準備ができています。ノードが落ちている場合、state は ''down'' となります。

	出力例:		出力例:

Kgx: /* インストール */ 翻訳を修正

2024-02-17T16:13:58Z

インストール: 翻訳を修正

← 古い版		2024年2月18日 (日) 01:13時点における版
10行目:		10行目:
	== インストール ==		== インストール ==

	{{Note\|TORQUE はとても強力なキューイングシステムですが、コンパイルのスループットを高めるためにクラスタを組むだけなら、[[distcc]] のほうが~~もっと簡潔~~に~~使うことが~~できます。}}		{{Note\|TORQUE はとても強力なキューイングシステムですが、コンパイルのスループットを高めるためにクラスタを組むだけなら、[[distcc]] の方が遥かに簡単で洗練されたソリューションです。}}
	[[AUR]] の {{AUR\|torque}} パッケージを[[インストール]]してください。		[[AUR]] の {{AUR\|torque}} パッケージを[[インストール]]してください。

Kgx: /* ジョブをキューに追加 */ 一部翻訳

2024-02-17T16:10:23Z

ジョブをキューに追加: 一部翻訳

← 古い版		2024年2月18日 (日) 01:10時点における版
184行目:		184行目:
	$ qsub -N x264 /home/facade/bin/x264_HQ.sh		$ qsub -N x264 /home/facade/bin/x264_HQ.sh

			{{Note\|キューに入れられたジョブの STDOUT と STDERR は、デフォルトで、それぞれの出力 ''pid.o'' および ''pid.e'' に対応する形式のテキストファイルに記録され、qsub コマンドが発行されたパスに書き込まれます}}
	{{Note\|STDOUT and STDERR for a queued job will be logged by default in the form text files corresponding to the respective outputs ''pid.o'' and ''pid.e'' and will be written to the path from which the qsub command was issued.}}

			別の例では、ラッパースクリプトを使用して、作業を ''まとめて'' 自動的に作成してキューに入れることができます。
	Another example can use a wrapper script to make and queue work ''en mass'' automatically.

	== ジョブの状態の確認 ==		== ジョブの状態の確認 ==

Kgx: 序文を更新

2024-02-17T16:08:13Z

序文を更新

← 古い版		2024年2月18日 (日) 01:08時点における版
5行目:		5行目:
	{{Related\|Slurm}}		{{Related\|Slurm}}
	{{Related articles end}}		{{Related articles end}}
			{{Note\|TORQUE はフリーソフトウェアではありません。}}

	'''TORQUE''' は~~オープンソースのリソースマネージャです。~~バッチジョブや分散された計算ノードを制御します。TORQUE を使うことで、ホーム・スモールオフィス用の Linux クラスタを構築してジョブを管理することができます。クラスタは一つのヘッドノードと多数の計算ノードから成ります。ヘッドノードでは '''torque-server''' デーモンを動作させ計算ノードでは '''torque-client''' デーモンを動作させます。ヘッドノードではスケジューラデーモンも動かします。		'''TORQUE''' はバッチジョブや分散された計算ノードを制御します。TORQUE を使うことで、ホーム・スモールオフィス用の Linux クラスタを構築してジョブを管理することができます。クラスタは一つのヘッドノードと多数の計算ノードから成ります。ヘッドノードでは '''torque-server''' デーモンを実行させ計算ノードでは '''torque-client''' デーモンを実行させます。ヘッドノードではスケジューラデーモンも実行します。

	== インストール ==		== インストール ==

Colajam93: カテゴリを

2016-10-14T16:10:57Z

カテゴリを

← 古い版		2016年10月15日 (土) 01:10時点における版
1行目:		1行目:
	[[Category:~~ネットワ~~ーク]]		[[Category:分散コンピューティング]]
	[[en:TORQUE]]		[[en:TORQUE]]
	{{Related articles start}}		{{Related articles start}}

Kusakata: /* サーバー (ヘッドノード) の設定 */

2016-04-02T08:43:09Z

サーバー (ヘッドノード) の設定

← 古い版		2016年4月2日 (土) 17:43時点における版
71行目:		71行目:
	qstat -f		qstat -f

	サーバーの設定を確認シたい場合は次のコマンドを実行:		サーバーの設定を確認したい場合は次のコマンドを実行:
	# qmgr -c 'p s'		# qmgr -c 'p s'

Kusakata: ページの作成:「Category:ネットワーク en:TORQUE {{Related articles start}} {{Related|distcc}} {{Related|Slurm}} {{Related articles end}} '''TORQUE''' はオープンソー...」

2016-04-02T08:42:55Z

ページの作成:「Category:ネットワーク en:TORQUE {{Related articles start}} {{Related|distcc}} {{Related|Slurm}} {{Related articles end}} '''TORQUE''' はオープンソー...」

新規ページ

[[Category:ネットワーク]]
[[en:TORQUE]]
{{Related articles start}}
{{Related|distcc}}
{{Related|Slurm}}
{{Related articles end}}

'''TORQUE''' はオープンソースのリソースマネージャです。バッチジョブや分散された計算ノードを制御します。TORQUE を使うことで、ホーム・スモールオフィス用の Linux クラスタを構築してジョブを管理することができます。クラスタは一つのヘッドノードと多数の計算ノードから成ります。ヘッドノードでは '''torque-server''' デーモンを動作させ計算ノードでは '''torque-client''' デーモンを動作させます。ヘッドノードではスケジューラデーモンも動かします。

== インストール ==

{{Note|TORQUE はとても強力なキューイングシステムですが、コンパイルのスループットを高めるためにクラスタを組むだけなら、[[distcc]] のほうがもっと簡潔に使うことができます。}}
[[AUR]] の {{AUR|torque}} パッケージを[[インストール]]してください。

== 要件 ==

=== /etc/hosts ===

クラスタの全てのマシンの {{ic|/etc/hosts}} に、クラスタの全てのマシンのホストネームを記述してください。例えば、クラスタを3つのマシン (mars, phobos, deimos) で構成する場合:

192.168.0.20 mars
192.168.0.21 phobos
192.168.0.22 deimos

=== ファイアウォールの設定 (インストールしている場合) ===

TORQUE を使用する全てのマシンの TCP を開いてください。

pbs_server (サーバー) と pbs_mom (クライアント) はデフォルトでは TCP と UDP のポート 15001-15004 を使用します。また、特権ポートが設定されている場合 (デフォルト) pbs_mom (クライアント) は UDP ポート 1023 以下も使用します。

=== NFS ===

技術的には、NFS を必ずしも使う必要はありませんが、使ったほうが設定が簡単になります。ビルドに使用するディスク領域を共有するために [[NFS]] の共有をサーバーや他のマシンで設定することを強く推奨します。

== セットアップ ==

=== サーバー (ヘッドノード) の設定 ===

ヘッドノード/スケジューラで以下の手順に従ってください。

{{ic|/var/spool/torque/server_name}} を編集してヘッドノードに名前を付けます。分かりやすいように {{ic|/etc/hostname}} のホストネームと一緒の名前にすることを推奨します。

torque サーバーを作成・設定:

{{bc|
# pbs_server -t create
PBS_Server localhost.localdomain: Create mode and server database exists,
do you wish to continue y/(n)?y
}}

以下を実行して trqauthd を起動:
{{bc|# trqauthd}}

最小限必要なオプションは以下の通りです。最初の行の "mars" を {{ic|/var/spool/torque/server_name}} で入力したホストネームに置き換えてください:

qmgr -c "set server acl_hosts = mars"
qmgr -c "set server scheduling=true"
qmgr -c "create queue batch queue_type=execution"
qmgr -c "set queue batch started=true"
qmgr -c "set queue batch enabled=true"
qmgr -c "set queue batch resources_default.nodes=1"
qmgr -c "set queue batch resources_default.walltime=3600"
qmgr -c "set server default_queue=batch"

完了したジョブは一定期間キューの中に保持すると良いでしょう:

qmgr -c "set server keep_completed = 86400"

上記の場合、86400秒 = 24時間後に、キューからジョブが自動的に削除されます。qstat の {{ic|-f}} スイッチを使うことでキューから削除されたジョブのログを確認することができます:

qstat -f

サーバーの設定を確認シたい場合は次のコマンドを実行:
# qmgr -c 'p s'

{{ic|/var/spool/torque/server_priv/nodes}} を編集して計算ノードを全て追加してください。ヘッドノードと同じように、LAN 上のマシンのホストネームと同じ名前を使うことを推奨します。構文は HOSTNAME np=x gpus=y properties です。

* HOSTNAME=マシンのホストネーム
* np=プロセッサの数
* gpus=gpu の数
* properties=コメント

ホストネームだけが必須で、後のフィールドは任意です。

例:

mars np=4
phobos np=2
deimos np=2

{{Note|
* 同じマシンでサーバーとクライアントの両方を動作させることもできます。
* {{ic|pbs_server -t create}} を再実行することで nodes ファイルを削除することができます。
}}

サーバーを再起動して新しいオプションを読み込ませてください。

=== クライアント (計算ノード) の設定 ===

クラスタ内の全ての計算ノードで以下の手順に従ってください。
{{Note|同一マシンでサーバーとクライアントの両方を動作させる場合、クラスタ内の''純粋な''クライアントだけでなくサーバーマシンでも以下の設定を行なってください。}}

{{ic|/var/spool/torque/mom_priv/config}} を編集してサーバーに関する基本的な情報を記述:

$pbsserver mars # note: this is the hostname of the headnode
$logevent 255 # bitmap of which events to log

=== サーバーの再起動 ===

サーバーを再起動すると設定が適用されます:
{{bc|
# killall -s 9 pbs_server
# pbs_server
}}

=== クライアントの起動 ===

クライアントマシンで以下を実行することでクライアントが起動します:
{{bc|
# pbs_mom
}}

== クラスタの状態を確認 ==

クラスタの状態を確認したいときは、以下を実行:
$ pbsnodes -a

''state'' が ''free'' となっていればノードはジョブを受け取る準備が出来ています。ノードが落ちている場合、state は ''down'' となります。

出力例:
{{bc|<nowiki>
mars
state = free
np = 4
ntype = cluster
status = rectime=1308479899,varattr=,jobs=0.localhost.localdomain,state=free,netload=1638547057,
gres=,loadave=2.69,ncpus=4,physmem=8195892kb,availmem=7172508kb,totmem=8195892kb,
idletime=24772,nusers=1,nsessions=5,sessions=1333 1349 1353 1388 9095,
uname=Linux mars 2.6.39-ck #1 SMP PREEMPT Sat Jun 18 14:19:01 EDT 2011 x86_64,opsys=linux
mom_service_port = 15002
mom_manager_port = 15003
gpus = 2

phobos
state = free
np = 2
ntype = cluster
status = rectime=1308479933,varattr=,jobs=,state=free,netload=1085755815,
gres=,loadave=2.84,ncpus=2,physmem=4019704kb,availmem=5753552kb,totmem=6116852kb,
idletime=7324,nusers=2,nsessions=6,sessions=1565 1562 1691 1716 1737 1851,
uname=Linux phobos 2.6.37-ck #1 SMP PREEMPT Sun Apr 3 17:16:35 EDT 2011 x86_64,opsys=linux
mom_service_port = 15002
mom_manager_port = 15003
gpus = 1

deimos
state = free
np = 2
ntype = cluster
status = rectime=1308479890,varattr=,jobs=2.localhost.localdomain,state=free,netload=527239670,
gres=,loadave=0.52,ncpus=2,physmem=4057808kb,availmem=3955624kb,totmem=4057808kb,
idletime=644,nusers=1,nsessions=1,sessions=865,
uname=Linux deimos 2.6.39-ck #1 SMP PREEMPT Sat Jun 11 12:36:21 EDT 2011 x86_64,opsys=linux
mom_service_port = 15002
mom_manager_port = 15003
gpus = 1
</nowiki>}}

== ジョブをキューに追加 ==

クラスタのキューにジョブを登録するには ''qsub'' コマンドを使います。

sleep を実行するだけの簡単なテスト:
$ echo "sleep 30" | qsub

キューの状態は下に書かれているように ''qstat'' コマンドで確認できます。待機中のジョブの状態は "Q" になります。ジョブを開始するには、スケジューラを実行:

# pbs_sched

''torque-server'' の ''systemd'' デーモンを修正することで起動時に pbs_sched を有効にすることができます。

また、qsub にはジョブに名前をつけてスクリプトをキューに入れるという使い方もあります:

$ qsub -N x264 /home/facade/bin/x264_HQ.sh

{{Note|STDOUT and STDERR for a queued job will be logged by default in the form text files corresponding to the respective outputs ''pid.o'' and ''pid.e'' and will be written to the path from which the qsub command was issued.}}

Another example can use a wrapper script to make and queue work ''en mass'' automatically.

== ジョブの状態の確認 ==

作業状況を確認するには {{ic|qstat}} を使います:

{{hc|$ qstat|<nowiki>
Job id Name User Time Use S Queue
------------------------- ---------------- --------------- -------- - -----
13.localhost generic-i686.pbs facade 00:05:06 R batch
14.localhost atom-i686.pbs facade 00:03:09 R batch
15.localhost core2-i686.pbs facade 00:01:02 R batch
16.localhost k7-i686.pbs facade 0 Q batch
17.localhost k8-i686.pbs facade 0 Q batch
18.localhost k10-i686.pbs facade 0 Q batch
19.localhost p4-i686.pbs facade 0 Q batch
20.localhost pentm-i686.pbs facade 0 Q batch
21.localhost ...ic-x86_64.pbs facade 0 Q batch
22.localhost atom-x86_64.pbs facade 0 Q batch
23.localhost core2-x86_64.pbs facade 0 Q batch
24.localhost k8-x86_64.pbs facade 0 Q batch
25.localhost k10-x86_64.pbs facade 0 Q batch
</nowiki>}}

{{ic|-n}} スイッチを追加することでどのノードがどのジョブを実行しているのか確認できます:
{{hc|$ qstat -n|<nowiki>
localhost.localdomain:
405.localhost.lo facade batch i686-generic 3035 1 0 -- 01:00 C 00:12
mars/3+mars/2+mars/1+mars/0
406.localhost.lo facade batch i686-atom 5768 1 0 -- 01:00 C 00:46
phobos/1+phobos/0
407.localhost.lo facade batch i686-core2 22941 1 0 -- 01:00 C 00:12
mars/3+mars/2+mars/1+mars/0
408.localhost.lo facade batch i686-k7 10152 1 0 -- 01:00 C 00:12
mars/3+mars/2+mars/1+mars/0
409.localhost.lo facade batch i686-k8 29657 1 0 -- 01:00 C 00:12
mars/3+mars/2+mars/1+mars/0
410.localhost.lo facade batch i686-k10 16838 1 0 -- 01:00 C 00:12
mars/3+mars/2+mars/1+mars/0
411.localhost.lo facade batch i686-p4 25340 1 0 -- 01:00 C 00:46
deimos/1+deimos/0
412.localhost.lo facade batch i686-pentm 12544 1 0 -- 01:00 R 00:20
phobos/1+phobos/0
413.localhost.lo facade batch x86_64-generic 4024 1 0 -- 01:00 C 00:13
mars/3+mars/2+mars/1+mars/0
414.localhost.lo facade batch x86_64-atom 19330 1 0 -- 01:00 C 00:13
mars/3+mars/2+mars/1+mars/0
415.localhost.lo facade batch x86_64-core2 2146 1 0 -- 01:00 C 00:13
mars/3+mars/2+mars/1+mars/0
416.localhost.lo facade batch x86_64-k8 17234 1 0 -- 01:00 R 00:11
mars/3+mars/2+mars/1+mars/0
417.localhost.lo facade batch x86_64-k10 -- 1 0 -- 01:00 Q --
--
</nowiki>}}

== 参照 ==

*[http://www.cgl.ucsf.edu/Resources/pbs/user_guide.html TORQUE short course from University of California, San Francisco] - Good guide with templates.
*[http://docs.adaptivecomputing.com/torque/5-1-0/help.htm TORQUE admin manual] - Great resource and easy to read.
*[http://www.bc.edu/offices/researchservices/cluster/torqueug.html Boston College's Torque user guide] - Guide not extensive but gives a flavor for how end-users can use a cluster. Probably overkill for home clusters where only one user is submitting work.
*[http://www.adaptivecomputing.com/support/download-center/torque-download/mailing-lists/ TORQUE mailing lists] - The TORQUE community is very knowledgeable and a key asset.
*[http://www.clusterresources.com/pipermail/torqueusers/ TORQUE users mailing list archives] - Searchable archive of TORQUE-users.