InfiniBand - 版の履歴

Kusanaginoturugi: 校正（でき・出来）

2024-07-10T11:24:50Z

校正（でき・出来）

← 古い版		2024年7月10日 (水) 20:24時点における版
248行目:		248行目:
	* {{ic\|target.service}} を[[起動]]・[[有効化]]。		* {{ic\|target.service}} を[[起動]]・[[有効化]]。

	{{ic\|targetcli}} では以下のことが出来ます:		{{ic\|targetcli}} では以下のことができます:
	* どの疑似ディレクトリでも、{{ic\|help}} を実行することで擬似ディレクトリで使えるコマンドを確認できます。また、{{ic\|help ''command''}} ({{ic\|help create}} など) で詳しいヘルプが表示されます。		* どの疑似ディレクトリでも、{{ic\|help}} を実行することで擬似ディレクトリで使えるコマンドを確認できます。また、{{ic\|help ''command''}} ({{ic\|help create}} など) で詳しいヘルプが表示されます。
	* ほとんどのコマンドでタブ補完が使えます。		* ほとんどのコマンドでタブ補完が使えます。

2021年9月14日 (火) 04:19にEnp1s0による

2021-09-14T04:19:21Z

← 古い版		2021年9月14日 (火) 13:19時点における版
579行目:		579行目:

	* まずは期待値を確認してください。		* まずは期待値を確認してください。
			どのようにリンク速度を測定しましたか？
	How have you determined you have a speed problem? Are you using [[#qperf - RDMA や TCP/IP のパフォーマンスを測定\|qperf]] or [[#iperf - TCP/IP のパフォーマンスを測定\|iperf]], which both transmit data to and from memory rather than hard drives. Or, are you benchmarking actual file transfers, which relies on your hard drives? Unless you're running RAID to boost speed, even with the fastest SSD's available in mid 2015, a single hard drive (or sometimes even multiple ones) will be bottlenecking your InfiniBand transfer speeds. Are you using RDMA or TCP/IP via IPoIB? If so, [[#TCP/IP over InfiniBand (IPoIB)\|there is a performance hit]] for using IPoIB instead of RDMA.
			[[#qperf - RDMA や TCP/IP のパフォーマンスを測定\|qperf]] や [[#iperf - TCP/IP のパフォーマンスを測定\|iperf]] のようにベンチマークデータをノードのメモリ間で通信するベンチマークを用いましたか？
			それともハードドライブ等にあるデータの転送で測りましたか？
			ハードドライブの場合、RAIDなどでデータの読み書き速度を向上させていない限り、転送速度はハードドライブの読み書き速度に律速されます。
			これは2015年現在最速のSSDを用いた場合でも同様のことが言えます。
			RDMAやTCP/IP via IPoIBを使いましたか？
			IPoIBの場合はRDMAと比較して[[#TCP/IP over InfiniBand (IPoIB)\|速度が低下することがあります]]。

	* リンク速度を確認する:		* リンク速度を確認する:

Kusakata.bot2: Pkg/AUR テンプレートの更新

2019-09-25T14:54:08Z

Pkg/AUR テンプレートの更新

← 古い版		2019年9月25日 (水) 23:54時点における版
155行目:		155行目:
	* {{ic\|opensm.service}} を[[起動]]・[[有効化]]		* {{ic\|opensm.service}} を[[起動]]・[[有効化]]

	実行すると接続された InfiniBand ポートの状態が全て "Active" になり、物理状態が "LinkUp" になります。{{AUR\|infiniband-diags}} に含まれている [[#ibstat - コンピュータの InfiniBand GUID を表示\|ibstat]] を実効することで確認できます:		実行すると接続された InfiniBand ポートの状態が全て "Active" になり、物理状態が "LinkUp" になります。{{AUR\|infiniband-diags}}{{Broken package link\|パッケージが存在しません}} に含まれている [[#ibstat - コンピュータの InfiniBand GUID を表示\|ibstat]] を実効することで確認できます:
	{{hc\|$ ibstat\|... (look at the ports shown you expect to be connected)		{{hc\|$ ibstat\|... (look at the ports shown you expect to be connected)
	State: Active		State: Active

Kusakata.bot: Pkg/AUR テンプレートの更新

2018-12-19T14:45:23Z

Pkg/AUR テンプレートの更新

← 古い版		2018年12月19日 (水) 23:45時点における版
86行目:		86行目:
	==== Mellanox ====		==== Mellanox ====

	* {{AUR\|mstflint}}, {{AUR\|libibumad}}, {{AUR\|libibmad}} パッケージをインストールしてください。		* {{AUR\|mstflint}}, {{AUR\|libibumad}}{{Broken package link\|パッケージが存在しません}}, {{AUR\|libibmad}}{{Broken package link\|パッケージが存在しません}} パッケージをインストールしてください。
	* アダプタの PCI デバイス ID を確認してください (例えば以下の場合は "05:00.0" がアダプタの PCI デバイス ID になります):		* アダプタの PCI デバイス ID を確認してください (例えば以下の場合は "05:00.0" がアダプタの PCI デバイス ID になります):
	{{hc\|$ lspci <nowiki>\|</nowiki> grep Mellanox\|'''05:00.0''' InfiniBand: Mellanox Technologies MT25418 [ConnectX VPI PCIe 2.0 2.5GT/s - IB DDR / 10GigE] (rev a0)}}		{{hc\|$ lspci <nowiki>\|</nowiki> grep Mellanox\|'''05:00.0''' InfiniBand: Mellanox Technologies MT25418 [ConnectX VPI PCIe 2.0 2.5GT/s - IB DDR / 10GigE] (rev a0)}}
152行目:		152行目:

	* [[#カーネルモジュール\|カーネルモジュールをロードするために rdma をインストール]]		* [[#カーネルモジュール\|カーネルモジュールをロードするために rdma をインストール]]
	* {{AUR\|opensm}} と {{AUR\|libibumad}} をインストール		* {{AUR\|opensm}} と {{AUR\|libibumad}}{{Broken package link\|パッケージが存在しません}} をインストール
	* {{ic\|opensm.service}} を[[起動]]・[[有効化]]		* {{ic\|opensm.service}} を[[起動]]・[[有効化]]

603行目:		603行目:
	=== libsdp で SDP (Sockets Direct Protocol) を使用する ===		=== libsdp で SDP (Sockets Direct Protocol) を使用する ===

	代わりに {{AUR\|librdmacm}} を使ってください (開発当初の名前は rsockets でした)。		代わりに {{AUR\|librdmacm}}{{Broken package link\|パッケージが存在しません}} を使ってください (開発当初の名前は rsockets でした)。

	librdmacm (and formerly libsdp) use {{ic\|LD_PRELOAD}} to intercept non-Infiniband programs' socket calls, and transparently (to the program) send them over RDMA over InfiniBand. That is, it can dramatically speed up programs built for TCP/IP, more than you can achieve by using them with IPoIB. It avoids the need to change a program's source code to work with InfiniBand, and can even be used on programs without the user having the source code. It does not work on programs that statically linked in socket libraries.		librdmacm (and formerly libsdp) use {{ic\|LD_PRELOAD}} to intercept non-Infiniband programs' socket calls, and transparently (to the program) send them over RDMA over InfiniBand. That is, it can dramatically speed up programs built for TCP/IP, more than you can achieve by using them with IPoIB. It avoids the need to change a program's source code to work with InfiniBand, and can even be used on programs without the user having the source code. It does not work on programs that statically linked in socket libraries.

Kusakata.bot: Pkg/AUR テンプレートの更新

2017-10-07T13:44:24Z

Pkg/AUR テンプレートの更新

← 古い版		2017年10月7日 (土) 22:44時点における版
111行目:		111行目:
	最新のカーネルには InifiniBand のモジュールが組み込まれており、ロードすることで使うことができます。		最新のカーネルには InifiniBand のモジュールが組み込まれており、ロードすることで使うことができます。

	* {{AUR\|rdma}} をインストール。		* {{AUR\|rdma}}{{Broken package link\|パッケージが存在しません}} をインストール。
	** {{ic\|/usr/lib/udev/rules.d/98-rdma.rules}} によって cxgb, ib_, mlx, iw_, be2net, usnic* ハードウェアカーネルモジュールがロードされます。		** {{ic\|/usr/lib/udev/rules.d/98-rdma.rules}} によって cxgb, ib_, mlx, iw_, be2net, usnic* ハードウェアカーネルモジュールがロードされます。
	** ({{ic\|rdma.service}} によって起動される) {{ic\|/usr/lib/rdma/rdma-init-kernel}} によって {{ic\|/etc/rdma/rdma.conf}} に指定されたカーネルモジュールがロードされます。		** ({{ic\|rdma.service}} によって起動される) {{ic\|/usr/lib/rdma/rdma-init-kernel}} によって {{ic\|/etc/rdma/rdma.conf}} に指定されたカーネルモジュールがロードされます。

Kusakata: 翻訳

2017-02-26T10:52:52Z

翻訳

← 古い版		2017年2月26日 (日) 19:52時点における版
228行目:		228行目:
	\|}		\|}

			{{Tip\|通常、サブネット全体で同じ接続と MTU の設定を使った時が一番速度がでます。異なる設定を混ぜても機能はしますが、最適ではありません。}}
	{{Tip\|It's usually best to have an entire subnet using the same connection and MTU settings. Mixing and matching appears to work, but not optimally.}}

	=== InfiniBand 経由でリモートデータストレージを使う ===		=== InfiniBand 経由でリモートデータストレージを使う ===
278行目:		278行目:
	*** {{ic\|cd /iscsi}} と {{ic\|create}} を実行。ランダムに生成されたターゲット名が表示されます (例: {{ic\|iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a}})。		*** {{ic\|cd /iscsi}} と {{ic\|create}} を実行。ランダムに生成されたターゲット名が表示されます (例: {{ic\|iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a}})。
	*** Set up the tpg (Target Portal Group), automatically created in the last step as tpg1.		*** Set up the tpg (Target Portal Group), automatically created in the last step as tpg1.
	**** ~~Create a~~ lun (Logical Unit Number).		**** lun (Logical Unit Number) を作成。
	***** ~~Run:~~ {{ic\|cd ''randomly_generated_target_name''/tpg1/luns}}; ~~and~~ {{ic\|create ''storage_object''}}~~. Where~~ {{ic\|''storage_object''}} ~~is a full path to an existing storage object, i.e.~~ /backstores/block/''name''.		***** {{ic\|cd ''randomly_generated_target_name''/tpg1/luns}} と {{ic\|create ''storage_object''}} を実行。{{ic\|''storage_object''}} は既存のストレージオブジェクトのフルパスに置き換えてください ({{ic\|/backstores/block/''name''}})。
	**** ~~Create an~~ acl (Access Control List).		**** acl (Access Control List) を作成。
	***** ~~Run:~~ {{ic\|cd ../acls}}; ~~and~~ {{ic\|create ''wwn''}}~~. Where~~ {{ic\|''wwn''}} ~~is the initiator system's~~ iqn (iSCSI Qualified Name), ~~aka its (World Wide Name).~~		***** {{ic\|cd ../acls}} と {{ic\|create ''wwn''}} を実行。{{ic\|''wwn''}} はイニシエータシステムの iqn (iSCSI Qualified Name) に置き換えてください。
	****** ~~Get the {{ic\|''wwn''}} by running on the initiator system, '''not''' this target system:~~ (~~after installing on it~~ {{pkg\|open-iscsi}} or {{AUR\|open-iscsi-git}}) {{ic\|cat /etc/iscsi/initiatorname.iscsi}}.		****** ({{pkg\|open-iscsi}} あるいは {{AUR\|open-iscsi-git}} をインストールしてから) イニシエータシステムで次のコマンドを実行することで {{ic\|''wwn''}} を確認できます: {{ic\|cat /etc/iscsi/initiatorname.iscsi}}。
	** ~~Save and exit by running:~~ {{ic\|cd /}}; {{ic\|saveconfig}}~~; and~~ {{ic\|exit}}.		** {{ic\|cd /}}, {{ic\|saveconfig}}, {{ic\|exit}} を実行して保存して終了してください。

	* イニシエータ側では以下を実行:		* イニシエータ側では以下を実行:
315行目:		315行目:
	[[#IPoIB を使う\|iSCSI Over IPoIB]] の手順に以下の変更を加えてください:		[[#IPoIB を使う\|iSCSI Over IPoIB]] の手順に以下の変更を加えてください:

	* ~~If you wish, instead of~~ [[#TCP/IP over InfiniBand (IPoIB)\|~~installing~~ IPoIB]]~~, you can just~~ [[#~~Kernel modules~~\|~~install~~ RDMA ~~for loading kernel modules~~]].		* [[#TCP/IP over InfiniBand (IPoIB)\|IPoIB をインストール]]するかわりに、[[#カーネルモジュール\|RDMA をインストールしてカーネルモジュールをロード]]することができます。
	* On the target system, after everything else is setup, while still in {{ic\|targetcli}}, enable iSER on the target:		* On the target system, after everything else is setup, while still in {{ic\|targetcli}}, enable iSER on the target:
	** Run {{ic\|cd /iscsi/''iqn''/tpg1/portals/0.0.0.0:3260}} for each ''iqn'' you want to have use iSER rather than IPoIB.		** Run {{ic\|cd /iscsi/''iqn''/tpg1/portals/0.0.0.0:3260}} for each ''iqn'' you want to have use iSER rather than IPoIB.
	*** Where ''iqn'' is the randomly generated target name, i.e. iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a.		*** Where ''iqn'' is the randomly generated target name, i.e. iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a.
	** Run {{ic\|enable_iser true}}.		** Run {{ic\|enable_iser true}}.
	** ~~Save and exit by running:~~ {{ic\|cd /}}; {{ic\|saveconfig}}~~; and~~ {{ic\|exit}}.		** {{ic\|cd /}}, {{ic\|saveconfig}}, {{ic\|exit}} を実行して保存して終了してください。
	* On the initiator system, when running {{ic\|iscsiadm}} to discover online targets and login to them, use the additional argument {{ic\|-I iser}}.		* On the initiator system, when running {{ic\|iscsiadm}} to discover online targets and login to them, use the additional argument {{ic\|-I iser}}.

333行目:		333行目:
	*** Where ''iqn'' is the randomly generated target name in targetcli, i.e. iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a.		*** Where ''iqn'' is the randomly generated target name in targetcli, i.e. iqn.2003-01.org.linux-iscsi.hostname.x8664:sn.3d74b8d4020a.
	*** Where ''ip-port-etc'' is a directory in the form "192.168.2.1,3260,1".		*** Where ''ip-port-etc'' is a directory in the form "192.168.2.1,3260,1".
	*** ~~Change~~ {{ic\|<nowiki>iface.iscsi_ifacename = default</nowiki>}} to {{ic\|<nowiki>iface.iscsi_ifacename = iser</nowiki>}}.		*** {{ic\|<nowiki>iface.iscsi_ifacename = default</nowiki>}} を {{ic\|<nowiki>iface.iscsi_ifacename = iser</nowiki>}} に変更。
	*** ~~Change~~ {{ic\|<nowiki>iface.transport_name = tcp</nowiki>}} to {{ic\|<nowiki>iface.transport_name = iser</nowiki>}}.		*** {{ic\|<nowiki>iface.transport_name = tcp</nowiki>}} を {{ic\|<nowiki>iface.transport_name = iser</nowiki>}} に変更。
			* ターゲット側で、[[#iSER デバイスの設定\|iSER デバイスの設定]]の手順に従って iSER を有効にしてください。
	* On the target system, enable iSER by following the [[#iSER デバイスの設定\|Configuring iSER devices]] instructions for the target system.
			* イニシエータ側で以下を実行してください:
	* On the initiator system:
	** ~~Run~~ {{ic\|systemctl start open-iscsi}}.		** {{ic\|systemctl start open-iscsi}} を実行。
	** ~~When logging in to discovered targets, run~~ {{ic\|iscsiadm -m node -L all -I iser}}.		** 探知したターゲットにログインするときに、{{ic\|iscsiadm -m node -L all -I iser}} を実行。

	== 診断やベンチマークに使える InfiniBand プログラム ==		== 診断やベンチマークに使える InfiniBand プログラム ==
374行目:		374行目:
	Link layer: InfiniBand</nowiki>}}		Link layer: InfiniBand</nowiki>}}

			上記は Mellanox Technologies (MT) アダプタの例です。モデル番号の代わりに PCI デバイス ID が報告されています (25418)。状態が "Active" となっているのは、サブネットマネージャに正しく接続されていることを意味します。物理状態が "LinkUp" なのは、ケーブルによる電気接続が確立されていることを意味しますが、必ずしもサブネットマネージャに正しく接続されているわけではありません。合計レートは 20 Gb/s となっています (5.0 Gb/s の信号レートと4つの仮想レーンが使われています)。サブネットマネージャは lid が3のポートが割り当てられています。
	This example shows a Mellanox Technologies (MT) adapter. Its PCI Device ID is reported (25418), rather than the model number of part number. It shows a state of "Active", which means is it properly connected to a subnet manager. It shows a physical state of "LinkUp", which means it has an electrical connection via cable, but is not necessarily properly connected to a subnet manager. It shows a total rate of 20 Gb/s (which for this card is from a 5.0 Gb/s signaling rate and 4 virtual lanes.) It shows the subnet manager assigned the port a lid of 3.

	=== ibhosts - InfiniBand ネットワークの全てのホストを表示 ===		=== ibhosts - InfiniBand ネットワークの全てのホストを表示 ===
426行目:		426行目:
	=== ibdiagnet - サブネットの診断情報を表示 ===		=== ibdiagnet - サブネットの診断情報を表示 ===

			ibdiagnet はサブネットについて潜在的な問題を表示します。オプションを付けずに実行できます。{{ic\|<nowiki>-lw <1x\|4x\|12x></nowiki>}} でコンピュータのアダプタの期待されるリンク幅 (仮想レーンの数) を指定することができ、アダプタが適切に動作しているかどうか確認することが可能です。また、{{ic\|<nowiki>-ls <2.5\|5\|10></nowiki>}} でコンピュータのアダプタの期待されるリンク速度 (信号レート) を指定して正しく動作しているか確認できますが、FDR+ デバイスで 10 よりも大きいオプションを指定することはできません。{{ic\|-c <count>}} で送信されるパケットのデフォルト数が上書きされます。
	ibdiagnet will show you potential problems on your subnet. You can run it without options. {{ic\|<nowiki>-lw <1x\|4x\|12x></nowiki>}} specifies the expected link width (number of virtual lanes) for your computer's adapter, so it can check if it is running as intended. {{ic\|<nowiki>-ls <2.5\|5\|10></nowiki>}} specifies the expected link speed (signaling rate) for your computer's adapter, so it can check if it is running as intended, but it does not yet support options faster than 10 for FDR+ devices. {{ic\|-c <count>}} overrides the default number of packets to be sent of 10.

	{{hc\|# ibdiagnet -lw 4x -ls 5 -c 1000\|<nowiki>		{{hc\|# ibdiagnet -lw 4x -ls 5 -c 1000\|<nowiki>

Kusakata: 翻訳

2016-12-26T14:40:45Z

翻訳

差分を表示