Dd - 版の履歴

Kgx: 参照を翻訳して追加

2024-02-20T10:35:44Z

参照を翻訳して追加

← 古い版		2024年2月20日 (火) 19:35時点における版
57行目:		57行目:
	{{Note\|指定するブロックサイズは、読み取りエラーの処理方法に影響します。以下をお読みください。データの回復には、[[ディスクのクローン#ddrescue を使う\|ddrescue]] を使用してください。}}		{{Note\|指定するブロックサイズは、読み取りエラーの処理方法に影響します。以下をお読みください。データの回復には、[[ディスクのクローン#ddrescue を使う\|ddrescue]] を使用してください。}}

	''dd'' ユーティリティには、技術的には「入力ブロックサイズ」~~（IBS）~~と「出力ブロックサイズ」~~（OBS）~~があります。{{ic\|bs}} を設定すると、実質的に IBS と OBS の両方を設定することになります。通常、ブロックサイズが例えば 1MiB の場合、dd は 1024×1024 バイトを読み込み、同じバイト数を書き込みます。しかし、読み取りエラーが発生すると、事態はおかしくなります。多くの人は、{{ic\|noerror,sync}} オプションを使うと、dd が「読み込みエラーをゼロで埋める」と思っているようですが、そうではありません。ドキュメントによると、dd は読み込み完了後に OBS から IBS のサイズを埋める、つまりブロックの最後にゼロを追加するのです。つまり、ディスクの場合、512 バイトの読み取りエラーが読み取りの最初に1回発生しただけで、事実上 1MB 全体がめちゃくちゃになってしまうのです: 12ERROR89 は 120000089 ではなく 128900000 となります。		''dd'' ユーティリティには、技術的には「入力ブロックサイズ」(IBS)と「出力ブロックサイズ」(OBS)があります。{{ic\|bs}} を設定すると、実質的に IBS と OBS の両方を設定することになります。通常、ブロックサイズが例えば 1MiB の場合、dd は 1024×1024 バイトを読み込み、同じバイト数を書き込みます。しかし、読み取りエラーが発生すると、事態はおかしくなります。多くの人は、{{ic\|noerror,sync}} オプションを使うと、dd が「読み込みエラーをゼロで埋める」と思っているようですが、そうではありません。ドキュメントによると、dd は読み込み完了後に OBS から IBS のサイズを埋める、つまりブロックの最後にゼロを追加するのです。つまり、ディスクの場合、512 バイトの読み取りエラーが読み取りの最初に1回発生しただけで、事実上 1MB 全体がめちゃくちゃになってしまうのです: 12ERROR89 は 120000089 ではなく 128900000 となります。

	ディスクにエラーがないことが確認できれば、ブロックサイズを大きくしてコピーを進めることができ、コピーの速度が数倍向上します。例えば、Celeron 2.7GHz のシステムで、bs を 512 から 64K に変更すると、コピー速度が 35MB/s から 120MB/s になります。ただし、コピー元のディスクで発生した読み取りエラーは、コピー先のディスクではブロックエラーとして発生することに注意してください。つまり、512バイトのリードエラーは、出力先の 64 KiB ブロック全体をめちゃくちゃにします。		ディスクにエラーがないことが確認できれば、ブロックサイズを大きくしてコピーを進めることができ、コピーの速度が数倍向上します。例えば、Celeron 2.7GHz のシステムで、bs を 512 から 64K に変更すると、コピー速度が 35MB/s から 120MB/s になります。ただし、コピー元のディスクで発生した読み取りエラーは、コピー先のディスクではブロックエラーとして発生することに注意してください。つまり、512バイトのリードエラーは、出力先の 64 KiB ブロック全体をめちゃくちゃにします。
305行目:		305行目:
	* ネットワーク接続が悪い状態で nbd に書き込む場合、{{man\|1\|dd_rescue}} を使って直接 I/O で転送を再実行する。		* ネットワーク接続が悪い状態で nbd に書き込む場合、{{man\|1\|dd_rescue}} を使って直接 I/O で転送を再実行する。
	* 欠陥のある媒体への書き込みを避けることができます。}}		* 欠陥のある媒体への書き込みを避けることができます。}}

			== 参照 ==

			* {{man\|1p\|dd}}: の [[man ページ\|manpage]] dd コアユーティリティ POSIX 仕様

Libnumafly: 閉じ忘れられたヒントブロックを修正

2023-11-05T19:05:59Z

閉じ忘れられたヒントブロックを修正

← 古い版		2023年11月6日 (月) 04:05時点における版
95行目:		95行目:
	{{Note\|バックアップする HD のキャッシュの容量と同じブロックサイズ ({{ic\|1=bs=}}) を使うと良いかもしれません。例えば、{{ic\|1=bs=8192K}} は 8 MiB キャッシュでうまく行きます。この記事で説明されている 64 KiB は、デフォルトの {{ic\|1=bs=512}} バイトよりも良いですが、より多くの {{ic\|1=bs=}} を使えばより速く実行できます。}}		{{Note\|バックアップする HD のキャッシュの容量と同じブロックサイズ ({{ic\|1=bs=}}) を使うと良いかもしれません。例えば、{{ic\|1=bs=8192K}} は 8 MiB キャッシュでうまく行きます。この記事で説明されている 64 KiB は、デフォルトの {{ic\|1=bs=512}} バイトよりも良いですが、より多くの {{ic\|1=bs=}} を使えばより速く実行できます。}}

	{{Tip\|''gzip'' はデータ圧縮にシングルの CPU コアしか使用できません。そのせいで、データのスループットが最近のストレージの書き込みスピードよりかなり遅くなってしまいます。マルチコア圧縮でディスクイメージの作成をより速くするには、例えば {{Pkg\|pigz}} などのパッケージをインストールし、上記の {{ic\|gzip -c}} コマンドを {{ic\|pigz -c}} に置き換えてください。巨大なディスクでは時間を節約できるかもしれません。また、他の圧縮アルゴリズム ({{Pkg\|zstd}} など) を試しても良いかもしれません。		{{Tip\|''gzip'' はデータ圧縮にシングルの CPU コアしか使用できません。そのせいで、データのスループットが最近のストレージの書き込みスピードよりかなり遅くなってしまいます。マルチコア圧縮でディスクイメージの作成をより速くするには、例えば {{Pkg\|pigz}} などのパッケージをインストールし、上記の {{ic\|gzip -c}} コマンドを {{ic\|pigz -c}} に置き換えてください。巨大なディスクでは時間を節約できるかもしれません。また、他の圧縮アルゴリズム ({{Pkg\|zstd}} など) を試しても良いかもしれません。}}

	=== システムの復元 ===		=== システムの復元 ===

Kgx: /* ディスク関連や他の使用場面 */ リンクを修正

2023-05-19T09:21:49Z

ディスク関連や他の使用場面: リンクを修正

← 古い版		2023年5月19日 (金) 18:21時点における版
152行目:		152行目:
	そうは言っても、''dd'' は [[coreutils\|core utility]] であり、Arch や他の多くのシステムにデフォルトでインストールされているため、代替ユーティリティやより専門化されたユーティリティよりも好ましいことに注意する必要があります。システムに新しいパッケージをインストールするのは不便です。		そうは言っても、''dd'' は [[coreutils\|core utility]] であり、Arch や他の多くのシステムにデフォルトでインストールされているため、代替ユーティリティやより専門化されたユーティリティよりも好ましいことに注意する必要があります。システムに新しいパッケージをインストールするのは不便です。

	上記で説明した 2 つの側面をカバーするために、このセクションでは、他の汎用ユーティリティではほとんど見られない {{man\|1\|dd}} コアユーティリティの機能を、[[~~pacman~~/~~Rosetta~~]] の記事に似た形式で要約することに専念します。ただし、サンプルの量は、''dd'' のこれらの機能を調べるのに十分な量 (''ヒント:'' の ''ie'' または ''To'' 節で示されています) にできる限り少なく、単純に削減されています。サブセクションの下のボックス)、実践または疑似コードのいずれかにおいてです.		上記で説明した 2 つの側面をカバーするために、このセクションでは、他の汎用ユーティリティではほとんど見られない {{man\|1\|dd}} コアユーティリティの機能を、[[Pacman/比較表]] の記事に似た形式で要約することに専念します。ただし、サンプルの量は、''dd'' のこれらの機能を調べるのに十分な量 (''ヒント:'' の ''ie'' または ''To'' 節で示されています) にできる限り少なく、単純に削減されています。サブセクションの下のボックス)、実践または疑似コードのいずれかにおいてです.

	{{note\|この専用セクションを適切な長さに保つために、代替ユーティリティの比較には、公式リポジトリにあるパッケージのみが含まれています。この場合、言及されている他のユーティリティよりも明らかな利点があり、必要に応じて詳細が記載されています。<br>その他の代替ユーティリティについては、[[coreutils#dd の代替案]] を参照して下さい。}}		{{note\|この専用セクションを適切な長さに保つために、代替ユーティリティの比較には、公式リポジトリにあるパッケージのみが含まれています。この場合、言及されている他のユーティリティよりも明らかな利点があり、必要に応じて詳細が記載されています。<br>その他の代替ユーティリティについては、[[coreutils#dd の代替]] を参照して下さい。}}

	=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===		=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===

Kgx: /* ディスク関連や他の使用場面 */ 翻訳

2023-05-19T09:18:26Z

ディスク関連や他の使用場面: 翻訳

← 古い版		2023年5月19日 (金) 18:18時点における版
148行目:		148行目:
	== ディスク関連や他の使用場面 ==		== ディスク関連や他の使用場面 ==

	~~As some readers might already realized, the~~ {{man\|1\|dd}} ~~core utility has an~~ [https://unix.stackexchange.com/a/12538#12538 ~~quite different~~] ~~command-line syntax compared to other utilities. Moreover, while supporting~~ [https://unix.stackexchange.com/a/12538#12538 ~~some unique features not found in other commodity utilities~~]~~, several default behaviour (and sometimes, inability) it has is either~~ [https://www.pixelbeat.org/docs/coreutils-gotchas.html#dd ~~less-ideal~~] or [[dd#Partial_read:_copied_data_is_smaller_than_requested\|potential error-prone]] if ~~applied~~ ~~to specific scenario. For that reason, users may want to use some alternatives that better in some aspects in lieu of the~~ ''dd'' ~~core utility.~~		既にお気づきの方もいらっしゃるかもしれませんが、{{man\|1\|dd}} コアユーティリティは他のユーティリティと比較して [https://unix.stackexchange.com/a/12538#12538 かなり異なる] コマンドラインのシンタックスを持っています。さらに、[https://unix.stackexchange.com/a/12538#12538 他のコモディティユーティリティにはないユニークな機能] をサポートしていますが、特定のシナリオに適用すると、[https://www.pixelbeat.org/docs/coreutils-gotchas.html#dd あまり理想的でない] か[[dd#Partial_read:_copied_data_is_smaller_than_requested\|potential error-prone]] デフォルト動作 (時には、できないこと) がいくつも存在します。そのため、ユーザーは ''dd'' コアユーティリティの代わりに、ある面ではより優れた代替品を使いたいと思うかもしれません。

			そうは言っても、''dd'' は [[coreutils\|core utility]] であり、Arch や他の多くのシステムにデフォルトでインストールされているため、代替ユーティリティやより専門化されたユーティリティよりも好ましいことに注意する必要があります。システムに新しいパッケージをインストールするのは不便です。
	That said, it is still worth to note that since ''dd'' is a [[coreutils\|core utility]], which is installed by default on Arch and many other systems, is preferable to some alternatives or more specialized utilities if it is inconvenient to install a new package on your system.

			上記で説明した 2 つの側面をカバーするために、このセクションでは、他の汎用ユーティリティではほとんど見られない {{man\|1\|dd}} コアユーティリティの機能を、[[pacman/Rosetta]] の記事に似た形式で要約することに専念します。ただし、サンプルの量は、''dd'' のこれらの機能を調べるのに十分な量 (''ヒント:'' の ''ie'' または ''To'' 節で示されています) にできる限り少なく、単純に削減されています。サブセクションの下のボックス)、実践または疑似コードのいずれかにおいてです.
	To cover the two aspects that addressed above, this section is dedicated to summarise the features of {{man\|1\|dd}} core utility that rarely found in other commodity utilities, in a form that resemble [[pacman/Rosetta]] article but with quantities of examples being cut down to as few and simple as possible to just enough to examine these features of ''dd'' (as denoted by ''i.e.'' or ''To''-clause in "Tip:" box under subsection), either in practice or ''pseudocode''.

			{{note\|この専用セクションを適切な長さに保つために、代替ユーティリティの比較には、公式リポジトリにあるパッケージのみが含まれています。この場合、言及されている他のユーティリティよりも明らかな利点があり、必要に応じて詳細が記載されています。<br>その他の代替ユーティリティについては、[[coreutils#dd の代替案]] を参照して下さい。}}
	{{note\|To keep this dedicated section in a reasonable length, comparison of alternative utilities only includes packages found in official repositories, in which case has obvious advantage over others being mentioned, and written in more details if necessary.<br>For more alternatives, see [[coreutils#dd alternatives]].}}

	=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===		=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===

Kgx: /* バイナリファイルにブロック単位のパッチをインプレースに適用する */

2023-05-19T09:10:09Z

バイナリファイルにブロック単位のパッチをインプレースに適用する

← 古い版		2023年5月19日 (金) 18:10時点における版
157行目:		157行目:

	=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===		=== バイナリファイルにブロック単位のパッチをインプレースに適用する ===
	It is not an uncommon practice to use ''dd'' as a feature-limited binary file patcher in automated shell scripts since it is capable to {{ic\|seek}} the output file by given offset before writing, and to block-by-block (or byte-y-byte if {{ic\|1=bs=1}}) in-place patching the output file by adding the {{ic\|1=conv=notrunc}} option.

			自動シェルスクリプトで機能が限定されたバイナリファイルパッチャーとして ''dd'' を使用することは珍しいことではありません。これは、書き込み前に指定されたオフセットによって出力ファイルを {{ic\|seek}} することができ、ブロックすることができるためです。 {{ic\|1=conv=notrunc}} オプションを追加して、出力ファイルにブロック単位 (または {{ic\|1=bs=1}} の場合はバイト y バイト) でインプレースパッチを適用します。
	For example, to modify the timestamp part of first member in a {{man\|5\|cpio\|Portable ASCII Format}} archive, which starts at the 49th byte of the file (or with offset of {{ic\|0x30}} if you prefer hex notation):

			たとえば、{{man\|5\|cpio\|Portable ASCII Format}} アーカイブ内の最初のメンバーのタイムスタンプ部分を変更するには、ファイルの 49 番目のバイトから始まります (または、次の場合は {{ic\|0x30}} のオフセットで始まります)。16 進表記を好む場合):

	$ touch a-randomly-chosen-file		$ touch a-randomly-chosen-file
166行目:		167行目:
	$ printf '%011o' "$(date -d "2019-12-21 00:00:00" +%s)" \| dd conv=notrunc of=example-modify-ts.cpio seek='''48''' oflag=seek_bytes		$ printf '%011o' "$(date -d "2019-12-21 00:00:00" +%s)" \| dd conv=notrunc of=example-modify-ts.cpio seek='''48''' oflag=seek_bytes

	{{note\|~~The currently undocumented~~ [https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 {{ic\|seek_bytes}} ~~output flag~~] ~~is specified above for seeking the output in offset of bytes instead of blocks before starting to~~ {{man\|2\|write}} ~~to output.~~}}		{{note\|現在文書化されていない [https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 {{ic\|seek_bytes}} 出力フラグ] は、出力への {{man\|2\|write}} を開始する前にブロックではなくバイトのオフセットで出力をシークするために上記に追加されています。}}

	{{tip\|To ~~print~~ ~~byte stream from command-line input hex notation, use~~ {{man\|1\|basenc\|base16}} ~~and~~/or {{man\|1\|printf}}.}}		{{tip\|コマンドライン入力の 16 進表記からバイトストリームを出力するには、{{man\|1\|basenc\|base16}} および/または {{man\|1\|printf}} を使用します。}}

			{{tip\|この機能では、''dd'' の代わりに、シェルが開いたファイルディスクリプタに対して {{man\|2\|lseek}} を呼び出すことをサポートするシェルを使用することを検討することができます。:
	{{tip\|In this feature grid (''i.e.'' {{man\|2\|write}} ''with offset, with'' no truncation), instead of using ''dd'', one may consider using a shell that supporting {{man\|2\|lseek}} operation on shell-opened file descriptor if in case of:

			* ''dd'' の入力ファイルは {{man\|2\|splice}} システムコールを利用するプログラムと接続されたパイプであり、ユーザはより良いパフォーマンスのために ''dd'' の不必要なユーザ空間 I/O を避けたいと考えています。
	* the input file of ''dd'' is a pipe connected with a program that utilize {{man\|2\|splice}} system call, and the user want to avoid unnecessary userspace I/O of ''dd'' for a better performance
			* または、シェルスクリプトのループ内で頻繁に {{man\|2\|fork}} が発生するのを避け、パフォーマンスペナルティを下げたい。
	* or, to avoid frequently {{man\|2\|fork}} in shell script loop to reduce performance penality

			その場合、まずそのシェルにファイルディスクリプタを開かせ、そのファイルディスクリプタに対してシーク操作を行い、{{man\|2\|splice}} システムコールを使う対応するユーティリティの出力端としてこのファイルディスクリプタを割り当てる必要があります(あるいは{{man\|1\|zshmodules\|sysseek}} のようにフォークしないシェル内蔵コマンドもあります):{{hc\|$ zsh\|<nowiki>$ local +xr openToWriteFD
	Then it would be necessary to let that shell open the file descriptor at first, and perform some seeking operation on the file descriptor to assign this file descriptor as output end of corresponding utility that use {{man\|2\|splice}} system call (or a shell builtin command does not forking, as in following example of {{man\|1\|zshmodules\|sysseek}}):{{hc\|$ zsh\|<nowiki>$ local +xr openToWriteFD
	$ zmodload zsh/system		$ zmodload zsh/system
	$ sysopen -wo cloexec -u openToWriteFD example-modify-ts.cpio		$ sysopen -wo cloexec -u openToWriteFD example-modify-ts.cpio
	$ sysseek -u $openToWriteFD 48		$ sysseek -u $openToWriteFD 48
	$ printf '%011o' "$(date -d "2019-12-21 00:00:00" +%s)" >&${openToWriteFD}</nowiki>}}		$ printf '%011o' "$(date -d "2019-12-21 00:00:00" +%s)" >&${openToWriteFD}</nowiki>}}
			{{warning\|オフセットを使用して書き込む必要があるプログラムが実際に {{man\|2\|splice}} を使用していることを確認できない場合は、このアプローチの使用を避けてください (これは、プログラムが出力に対していかなる種類のシークや切り捨ても実行しないことを意味します)。一部のプログラムは、この動作がコマンドラインフラグで指定されていない場合でも、入力/出力ファイル記述子を自動的にシーク/切り捨てることがあります。これにより、シェルの {{man\|3\|lseek}} 呼び出しが無効になったり、開いているファイル記述子が予期せず切り詰められたりすることがあります。}}}}
	{{warning\|Avoiding using this approach if you cannot ensure the program which you need it write with offset really utilize {{man\|2\|splice}} (which implies that the program does not perform any kind of seeking or truncating on its output). Some programs may seek/truncate on input/output file descriptor by themselves even if this behaviour is unspecified on command line flags, which invalidates your shell's {{man\|3\|lseek}} call, or unexpectedly truncates on opened file descriptor.}}}}

	=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===		=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===

Kgx: /* VFAT ファイルシステムイメージのボリュームラベルを表示する */ 翻訳

2023-05-19T08:57:12Z

VFAT ファイルシステムイメージのボリュームラベルを表示する: 翻訳

← 古い版		2023年5月19日 (金) 17:57時点における版
183行目:		183行目:

	=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===		=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===
	{{tip\|For this specific scenario, a more practical choice is {{pkg\|file}}.}}

			{{tip\|この特定のシナリオでは、より現実的な選択肢は {{pkg\|file}} です。}}
	To read the filesystem [https://wiki.osdev.org/FAT#FAT_32_2 volume label of an VFAT] image file, which should be in total length of 11 bytes that padded by ASCII spaces, with an offset of {{ic\|0x047}}:

			ファイルシステム [https://wiki.osdev.org/FAT#FAT_32_2 VFAT のボリュームラベル] イメージファイルを読み取るには、ASCII スペースが埋め込まれた全長 11 バイトで、オフセットは {{ic\|0x047}} です。:

	$ truncate -s ''33M'' empty-hole.img		$ truncate -s ''33M'' empty-hole.img
191行目:		192行目:

	$ dd iflag=skip_bytes,count_bytes count=11 skip=$((0x047)) if=empty-hole.img \| sed -e 's% *$%%'		$ dd iflag=skip_bytes,count_bytes count=11 skip=$((0x047)) if=empty-hole.img \| sed -e 's% *$%%'
	{{note\|[https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 ~~Both input flags are currently undocumented~~]:		{{note\|[https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 両方の入力フラグは現在文書化されていません]:
			* 以前の {{ic\|skip_bytes}} は、入力ファイルから {{man\|2\|read}} を開始する前に、ブロック数ではなくバイト数でオフセットしてシーク (シークできない入力の場合は ''skip'') するように ''dd'' に指示しました。
	* The former {{ic\|skip_bytes}} instruct ''dd'' to seek (or ''skip'' if input is not seekable) on input file by offset in quatity of byte instead of number of blocks before starting to {{man\|2\|read}} from it.
			* {{ic\|count_bytes}} では、ブロック数ではなく、入力ファイルからコピーするブロックの総量を ''バイト'' で指定することができます。このオプションを指定しても部分的な {{man\|2\|read}} の対象となる可能性があるので混乱するかもしれませんが、この挙動をより理解するために [[dd#部分読み取り: コピーされたデータは要求されたデータよりも小さい\|input block {{ic\|count}}]] の小数値と考えるようにします。}}
	* The later {{ic\|count_bytes}} allow user to specifiy the total quantity of blocks to copy from input file ''in byte'', instead of a number of blocks. It could be confusing since specifing this option could still subject to partial {{man\|2\|read}}, think it like a fractional value of [[dd#Partial_read:_copied_data_is_smaller_than_requested\|input block {{ic\|count}}]] to better understand this behaviour.}}

	{{tip\|''~~To transfer data from input~~ (~~with an offset~~) ~~to output within given length~~''~~, in shell scripting, one may also~~ ~~consider~~ {{man\|1\|curl\|r,}} ~~as a commodity alternative that use range notation instead.~~{{note\|''curl'' ~~does not support seeking~~/~~skipping when input file is a device~~/~~pipe, another alternative~~ {{man\|1\|socat}} ~~does support these operation on input file~~ (~~incl. block device, ''excl. pipe and character~~ ~~device~~'') ~~but is less commodifying than~~ ''curl'':{{bc\|<nowiki>$ socat -u -,seek=$((0x047)),readbytes=11 - < empty-hole.img \| sed -e 's% *$%%'</nowiki>}}}}}}		{{tip\|''指定された長さ内で入力 (オフセット付き) から出力にデータを転送するには''、シェルスクリプトでは、代わりに範囲表記を使用する代替手段として {{man\|1\|curl\|r,}} を考慮することもできます。{{note\|''curl'' は、入力ファイルがデバイス/パイプである場合のシーク/スキップをサポートしません。別の代替手段 {{man\|1\|socat}} は、入力ファイルに対するこれらの操作をサポートします (ブロックデバイスを含む、パイプを除く) 文字デバイス'') ですが、''curl'' ほどコモディティ化されていません。:{{bc\|<nowiki>$ socat -u -,seek=$((0x047)),readbytes=11 - < empty-hole.img \| sed -e 's% *$%%'</nowiki>}}}}}}

	=== パイプで繋がれたコマンド間で sponge する ===		=== パイプで繋がれたコマンド間で sponge する ===

Kgx: /* パイプで繋がれたコマンド間で sponge する */ 翻訳

2023-05-19T08:18:24Z

パイプで繋がれたコマンド間で sponge する: 翻訳

← 古い版		2023年5月19日 (金) 17:18時点における版
198行目:		198行目:

	=== パイプで繋がれたコマンド間で sponge する ===		=== パイプで繋がれたコマンド間で sponge する ===
	{{tip\|As already noted in title, a practical choice for this specific scenario is {{man\|1\|sponge}}, which supports atomic write by writing to {{ic\|<nowiki>${TMPDIR:-/tmp}</nowiki>}} at first.}}

			{{tip\|タイトルですでに述べたように、この特定のシナリオでの実際的な選択肢は {{ic\|<nowiki>${TMPDIR:-/tmp}</nowiki> への書き込みによるアトミック書き込みをサポートする {{man\|1\|sponge}} です}}}}
	In following example, to avoid unnecessary long-lasting TCP connection on input end if the output end blocks longer than expected, one may put a ''dd'' between two commands with an output block size certainly larger than input while still reasonably smaller than available memory:

			次の例では、出力側のブロックが予想より長くなった場合に、入力側で不必要に長く続く TCP 接続を避けるために、2 つのコマンドの間に ''dd'' を挿入し、出力ブロックサイズは入力よりも確実に大きく、それでも使用可能なメモリよりはかなり小さいものにすることができます。

	$ curl -qgsfL <nowiki>http://example.org/mirrors/ftp.archlinux.org/mirrored.md5deep</nowiki> \| dd ibs=128k obs=200M \| ''poor-mirroring-script-that-perform-mirroring-on-input-paths-line-by-line-wo-buffer-entire-list-first''		$ curl -qgsfL <nowiki>http://example.org/mirrors/ftp.archlinux.org/mirrored.md5deep</nowiki> \| dd ibs=128k obs=200M \| ''poor-mirroring-script-that-perform-mirroring-on-input-paths-line-by-line-wo-buffer-entire-list-first''

			{{warning\|''dd'' はコピー操作全体を開始する前に出力ファイルを切り詰めるため、これを {{man\|1\|sponge}} の一般的な代替手段として考慮しないでください。}}
	{{warning\|It should never be considered as a generic alternative to {{man\|1\|sponge}} as ''dd'' truncates the output file before starting the entire copy operation.}}

	=== サイズの制限付きでデータを転送する ===		=== サイズの制限付きでデータを転送する ===

Kgx: /* サイズの制限付きでデータを転送する */ 翻訳

2023-05-19T08:15:16Z

サイズの制限付きでデータを転送する: 翻訳

← 古い版		2023年5月19日 (金) 17:15時点における版
207行目:		207行目:

	=== サイズの制限付きでデータを転送する ===		=== サイズの制限付きでデータを転送する ===

	It's a common practice to use ''dd'' in a data streaming shell script for limiting total length of data that a piped command may consume. For example, to inspect an ustar header block ({{man\|5\|tar\|POSIX ustar Archives}}) using a shell script function in a streaming manner:
			データストリーミングのシェルスクリプトで ''dd'' を使用すると、パイプコマンドで消費されるデータの合計長を制限することができるのは一般的です。例えば、ustar ヘッダブロック ({{man\|5\|tar\|POSIX ustar Archives}}) をシェルスクリプトの機能を使ってストリーミング方式で検査する場合です:
	{{note\|The {{ic\|B}} suffix in argument to {{ic\|count}} option is a [https://github.com/coreutils/coreutils/commit/97e9778296ead515e77a64942b84f88dcf36a176 newerly introduced] feature as of GNU coreutils v9.1 that has same effect of [[Dd#Printing_volume_label_of_a_VFAT_filesystem_image_(i.e._read_in_given_length,_with_offset)\|{{ic\|count_bytes}} input flag]], is potentially confusable with option in forms like {{ic\|1=count=256k}} which indicate ''dd'' to copy 262144 input blocks instead of bytes.}}
			{{Note\|{{ic\|count}} オプションの引数にある {{ic\|B}} サフィックスは GNU coreutils v9.1 の [https://github.com/coreutils/coreutils/commit/97e9778296ead515e77a64942b84f88dcf36a176 新しく導入された] 機能で、 [[dd#VFAT ファイルシステムイメージのボリュームラベルを表示する]] と同じ効果を持っている。この機能は、{{ic\|1=count=256k}}のように、''dd'' がバイトではなく262144個の入力ブロックをコピーすることを示すオプションと混同される可能性があります。}}
	{{bc\|<nowiki>hexdump-field() {		{{bc\|<nowiki>hexdump-field() {
	set -o pipefail		set -o pipefail
242行目:		243行目:
	}</nowiki>}}		}</nowiki>}}
	$ bsdtar -cf - /dev/tty /dev/null 2>&- \| dd count=1 skip=1 status=none \| inspect-tar-header-block		$ bsdtar -cf - /dev/tty /dev/null 2>&- \| dd count=1 skip=1 status=none \| inspect-tar-header-block
			{{tip\|''指定された長さ内で入力から出力にデータをストリーミングするには'' という代替案は、{{man\|2\|splice}} システムコールをサポートする {{man\|1\|pv\|S,}} です。
	{{tip\|''To streaming data from input to output within given length'', an alternative is {{man\|1\|pv\|S,}} which supports {{man\|2\|splice}} system call.
	{{note\|~~Another~~ ~~candidate alternative~~ is {{man\|1\|head\|c}}~~, though~~ [[coreutils#Alternatives\|~~implementation other than~~ GNU coreutils]] ~~and~~ glibc [https://unix.stackexchange.com/a/12538#12538 ~~may consume more data than requested~~], ~~causing data misalignment issue in a streamingly shell script.~~}}}}		{{note\|もう 1 つの代替候補は {{man\|1\|head\|c}} ですが、[[coreutils#Alternatives\|GNU coreutils 以外の実装]] と glibc [https://unix.stackexchange.com/a/12538#12538 は消費する可能性があります]要求されたデータよりも多くのデータ] が発生し、ストリーミングシェルスクリプトでデータの不整合の問題が発生します。}}}}
			{{Tip\|上記の機能グリッドに加えて、入力ファイルがストリーミング前に特定のオフセットによって {{man\|2\|lseek}} され、''dd'' の出力端がプログラムに接続されたパイプである場合は、{{man\|2\|splice}} の場合、代わりに次の使用を検討できます。
	{{Tip\|In addition to above feature grid, if input file shall be {{man\|2\|lseek}}'d by specific offset before streaming, and the output end of ''dd'' is a pipe connected with a program utilize {{man\|2\|splice}}, then, as an alternative, one may consider use:
			* シーク機能が組み込まれたシェル (''すでに述べたように [[#前のサブセクションでの代替として、バイナリファイルにブロックごとにインプレースでパッチを適用する'']])
	* a shell with builtin seeking capability (''as already mentioned [[#Patching a binary file, block-by-block in-place\|as alternative in a previous subsection]].'')
	* ~~or, a~~ Bourne~~-like~~ ~~shell~~ (~~e.g.~~ [[bash]]), ~~with~~ ~~help of~~ {{man\|1\|~~xxd\|s~~}} ~~for one-off~~ {{man\|2\|~~lseek~~}} ~~on shell-opened file descriptor,~~		* または、Bourne のようなシェル (例:[[bash]])、シェルで開かれたファイル記述子に対する 1 回限りの {{man\|2\|lseek}} 用の {{man\|1\|xxd\|s}} の助けを借りて、
	~~and~~ {{man\|1\|pv\|S,}} (''~~mentioned above~~'') ~~as in following [[bash]] example~~ (~~assuming that file descriptor has not allocated in shell by~~ {{ic\|ls -l /proc/self/fd}} ~~in bash at first):~~{{hc\|$ bash\|<nowiki>$ exec 9<dummy-but-rather-large.img		次の [[bash]] の例のように {{man\|1\|pv\|S,}} (''前述'') を実行します (ファイル記述子が {{ic\|ls -l /proc によってシェルに割り当てられていないと仮定します) 最初は bash の /self/fd}} {{hc\|$ bash\|<nowiki>$ exec 9<dummy-but-rather-large.img
	$ xxd -g 0 -l 0 -s $((0x47ffff)) <&9		$ xxd -g 0 -l 0 -s $((0x47ffff)) <&9
	$ pv -qSs 104857601200 <&9 \|</nowiki> ''program-that-process-load-of-data-but-does-not-limit-read-length-as-desired-nor-support-offset-read''		$ pv -qSs 104857601200 <&9 \|</nowiki> ''program-that-process-load-of-data-but-does-not-limit-read-length-as-desired-nor-support-offset-read''
	$ exec 9<&-}}{{note\|~~Though incompatible with~~ POSIX ~~and~~ ~~some non-~~GNU ~~implementation, it's feasible to replace the usage of~~ {{man\|1\|xxd\|s}} ~~in above example with ''dd'' in conjunction of~~ {{ic\|1=count=0}} ~~and~~ {{ic\|skip}} ~~options as~~ [https://github.com/coreutils/coreutils/blob/4fd708810ce0e0d967c4c14e1ff2ff7b43440b58/tests/dd/skip-seek-past-file.sh#L74 ~~an example in~~ coreutils ~~test suite~~].}}}}		$ exec 9<&-}}{{note\|POSIX および一部の非 GNU 実装とは互換性がありませんが、上記の例の {{man\|1\|xxd\|s}} の使用を、{{ic\|1=count=0}} と組み合わせた ''dd'' に置き換えることは可能です。および {{ic\|skip}} オプション [https://github.com/coreutils/coreutils/blob/4fd708810ce0e0d967c4c14e1ff2ff7b43440b58/tests/dd/skip-seek-past-file.sh#L74 coreutils テストスイートの例]}}}}

	=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===		=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===

Kgx: /* ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する */ 翻訳

2023-05-19T07:59:18Z

ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する: 翻訳

← 古い版		2023年5月19日 (金) 16:59時点における版
254行目:		254行目:
	=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===		=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===

			その場合に最も適合性が低い可能性がある ''dd'' を含むコモディティユーティリティの例については、[[USB インストールメディア#基本的なコマンドラインユーティリティを使う]] を参照してください。
	See [[USB flash installation medium#Using_basic_command_line_utilities]] for examples of commodity utilities include the potential least adapted ''dd'' for that case.
			{{tip\|''ファイルの内容をブロックデバイスに書き込む (進行状況インジケーター付き)'' という代替案として、{{man\|1\|dd_rescue\|W}} が推奨されます。デバイス上の古いバージョンのイメージを新しいバージョンで上書きする場合、不要な書き込みを回避できます。}}
	{{tip\|''To write the content of a file to block device (with progress indicator)'', a suggested alternative is {{man\|1\|dd_rescue\|W}}. It is capable to avoid unnecessary writing in case of overwriting the old version of image on device with a newer version.}}

	== トラブルシューティング ==		== トラブルシューティング ==

Kgx: /* トラブルシューティング */ 翻訳

2023-05-19T06:49:55Z

トラブルシューティング: 翻訳

@@ 259行目: / 259行目: @@
 == トラブルシューティング ==
 [https://www.gnu.org/software/coreutils/manual/html_node/dd] のように、現時点で完全な入力ブロックが利用できない場合、''dd'' で作成されたファイルは要求されたサイズよりも小さくなる可能性があります。[https://www.gnu.org/software/coreutils/manual/html_node/dd-invocation.html#dd-invocation per ドキュメント]:
@@ 287行目: / 287行目: @@
 {{tip|状況によっては、出力ブロックサイズを入力ブロックサイズと同じ値に保つだけで、{{ic|PIPE_BUF}} 定数で定義された値がすでに最適である場合があります。}}
  $ yes 'x' | dd bs=4096 count=512400B | dd ibs=1 count=512200 status=none >/dev/null
@@ 296行目: / 296行目: @@
 bytes (512 kB, 500 KiB) copied, 10.7137 s, 47.8 kB/s

← 古い版		2023年5月19日 (金) 17:57時点における版
183行目:		183行目:

	=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===		=== VFAT ファイルシステムイメージのボリュームラベルを表示する ===
	{{tip\|For this specific scenario, a more practical choice is {{pkg\|file}}.}}

			{{tip\|この特定のシナリオでは、より現実的な選択肢は {{pkg\|file}} です。}}
	To read the filesystem [https://wiki.osdev.org/FAT#FAT_32_2 volume label of an VFAT] image file, which should be in total length of 11 bytes that padded by ASCII spaces, with an offset of {{ic\|0x047}}:

			ファイルシステム [https://wiki.osdev.org/FAT#FAT_32_2 VFAT のボリュームラベル] イメージファイルを読み取るには、ASCII スペースが埋め込まれた全長 11 バイトで、オフセットは {{ic\|0x047}} です。:

	$ truncate -s ''33M'' empty-hole.img		$ truncate -s ''33M'' empty-hole.img
191行目:		192行目:

	$ dd iflag=skip_bytes,count_bytes count=11 skip=$((0x047)) if=empty-hole.img \| sed -e 's% *$%%'		$ dd iflag=skip_bytes,count_bytes count=11 skip=$((0x047)) if=empty-hole.img \| sed -e 's% *$%%'
	{{note\|[https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 ~~Both input flags are currently undocumented~~]:		{{note\|[https://github.com/coreutils/coreutils/commit/140eca15c4a3d3213629a048cc307fde0d094738 両方の入力フラグは現在文書化されていません]:
			* 以前の {{ic\|skip_bytes}} は、入力ファイルから {{man\|2\|read}} を開始する前に、ブロック数ではなくバイト数でオフセットしてシーク (シークできない入力の場合は ''skip'') するように ''dd'' に指示しました。
	* The former {{ic\|skip_bytes}} instruct ''dd'' to seek (or ''skip'' if input is not seekable) on input file by offset in quatity of byte instead of number of blocks before starting to {{man\|2\|read}} from it.
			* {{ic\|count_bytes}} では、ブロック数ではなく、入力ファイルからコピーするブロックの総量を ''バイト'' で指定することができます。このオプションを指定しても部分的な {{man\|2\|read}} の対象となる可能性があるので混乱するかもしれませんが、この挙動をより理解するために [[dd#部分読み取り: コピーされたデータは要求されたデータよりも小さい\|input block {{ic\|count}}]] の小数値と考えるようにします。}}
	* The later {{ic\|count_bytes}} allow user to specifiy the total quantity of blocks to copy from input file ''in byte'', instead of a number of blocks. It could be confusing since specifing this option could still subject to partial {{man\|2\|read}}, think it like a fractional value of [[dd#Partial_read:_copied_data_is_smaller_than_requested\|input block {{ic\|count}}]] to better understand this behaviour.}}

	{{tip\|''~~To transfer data from input~~ (~~with an offset~~) ~~to output within given length~~''~~, in shell scripting, one may also~~ ~~consider~~ {{man\|1\|curl\|r,}} ~~as a commodity alternative that use range notation instead.~~{{note\|''curl'' ~~does not support seeking~~/~~skipping when input file is a device~~/~~pipe, another alternative~~ {{man\|1\|socat}} ~~does support these operation on input file~~ (~~incl. block device, ''excl. pipe and character~~ ~~device~~'') ~~but is less commodifying than~~ ''curl'':{{bc\|<nowiki>$ socat -u -,seek=$((0x047)),readbytes=11 - < empty-hole.img \| sed -e 's% *$%%'</nowiki>}}}}}}		{{tip\|''指定された長さ内で入力 (オフセット付き) から出力にデータを転送するには''、シェルスクリプトでは、代わりに範囲表記を使用する代替手段として {{man\|1\|curl\|r,}} を考慮することもできます。{{note\|''curl'' は、入力ファイルがデバイス/パイプである場合のシーク/スキップをサポートしません。別の代替手段 {{man\|1\|socat}} は、入力ファイルに対するこれらの操作をサポートします (ブロックデバイスを含む、パイプを除く) 文字デバイス'') ですが、''curl'' ほどコモディティ化されていません。:{{bc\|<nowiki>$ socat -u -,seek=$((0x047)),readbytes=11 - < empty-hole.img \| sed -e 's% *$%%'</nowiki>}}}}}}

	=== パイプで繋がれたコマンド間で sponge する ===		=== パイプで繋がれたコマンド間で sponge する ===

← 古い版		2023年5月19日 (金) 17:15時点における版
207行目:		207行目:

	=== サイズの制限付きでデータを転送する ===		=== サイズの制限付きでデータを転送する ===

	It's a common practice to use ''dd'' in a data streaming shell script for limiting total length of data that a piped command may consume. For example, to inspect an ustar header block ({{man\|5\|tar\|POSIX ustar Archives}}) using a shell script function in a streaming manner:
			データストリーミングのシェルスクリプトで ''dd'' を使用すると、パイプコマンドで消費されるデータの合計長を制限することができるのは一般的です。例えば、ustar ヘッダブロック ({{man\|5\|tar\|POSIX ustar Archives}}) をシェルスクリプトの機能を使ってストリーミング方式で検査する場合です:
	{{note\|The {{ic\|B}} suffix in argument to {{ic\|count}} option is a [https://github.com/coreutils/coreutils/commit/97e9778296ead515e77a64942b84f88dcf36a176 newerly introduced] feature as of GNU coreutils v9.1 that has same effect of [[Dd#Printing_volume_label_of_a_VFAT_filesystem_image_(i.e._read_in_given_length,_with_offset)\|{{ic\|count_bytes}} input flag]], is potentially confusable with option in forms like {{ic\|1=count=256k}} which indicate ''dd'' to copy 262144 input blocks instead of bytes.}}
			{{Note\|{{ic\|count}} オプションの引数にある {{ic\|B}} サフィックスは GNU coreutils v9.1 の [https://github.com/coreutils/coreutils/commit/97e9778296ead515e77a64942b84f88dcf36a176 新しく導入された] 機能で、 [[dd#VFAT ファイルシステムイメージのボリュームラベルを表示する]] と同じ効果を持っている。この機能は、{{ic\|1=count=256k}}のように、''dd'' がバイトではなく262144個の入力ブロックをコピーすることを示すオプションと混同される可能性があります。}}
	{{bc\|<nowiki>hexdump-field() {		{{bc\|<nowiki>hexdump-field() {
	set -o pipefail		set -o pipefail
242行目:		243行目:
	}</nowiki>}}		}</nowiki>}}
	$ bsdtar -cf - /dev/tty /dev/null 2>&- \| dd count=1 skip=1 status=none \| inspect-tar-header-block		$ bsdtar -cf - /dev/tty /dev/null 2>&- \| dd count=1 skip=1 status=none \| inspect-tar-header-block
			{{tip\|''指定された長さ内で入力から出力にデータをストリーミングするには'' という代替案は、{{man\|2\|splice}} システムコールをサポートする {{man\|1\|pv\|S,}} です。
	{{tip\|''To streaming data from input to output within given length'', an alternative is {{man\|1\|pv\|S,}} which supports {{man\|2\|splice}} system call.
	{{note\|~~Another~~ ~~candidate alternative~~ is {{man\|1\|head\|c}}~~, though~~ [[coreutils#Alternatives\|~~implementation other than~~ GNU coreutils]] ~~and~~ glibc [https://unix.stackexchange.com/a/12538#12538 ~~may consume more data than requested~~], ~~causing data misalignment issue in a streamingly shell script.~~}}}}		{{note\|もう 1 つの代替候補は {{man\|1\|head\|c}} ですが、[[coreutils#Alternatives\|GNU coreutils 以外の実装]] と glibc [https://unix.stackexchange.com/a/12538#12538 は消費する可能性があります]要求されたデータよりも多くのデータ] が発生し、ストリーミングシェルスクリプトでデータの不整合の問題が発生します。}}}}
			{{Tip\|上記の機能グリッドに加えて、入力ファイルがストリーミング前に特定のオフセットによって {{man\|2\|lseek}} され、''dd'' の出力端がプログラムに接続されたパイプである場合は、{{man\|2\|splice}} の場合、代わりに次の使用を検討できます。
	{{Tip\|In addition to above feature grid, if input file shall be {{man\|2\|lseek}}'d by specific offset before streaming, and the output end of ''dd'' is a pipe connected with a program utilize {{man\|2\|splice}}, then, as an alternative, one may consider use:
			* シーク機能が組み込まれたシェル (''すでに述べたように [[#前のサブセクションでの代替として、バイナリファイルにブロックごとにインプレースでパッチを適用する'']])
	* a shell with builtin seeking capability (''as already mentioned [[#Patching a binary file, block-by-block in-place\|as alternative in a previous subsection]].'')
	* ~~or, a~~ Bourne~~-like~~ ~~shell~~ (~~e.g.~~ [[bash]]), ~~with~~ ~~help of~~ {{man\|1\|~~xxd\|s~~}} ~~for one-off~~ {{man\|2\|~~lseek~~}} ~~on shell-opened file descriptor,~~		* または、Bourne のようなシェル (例:[[bash]])、シェルで開かれたファイル記述子に対する 1 回限りの {{man\|2\|lseek}} 用の {{man\|1\|xxd\|s}} の助けを借りて、
	~~and~~ {{man\|1\|pv\|S,}} (''~~mentioned above~~'') ~~as in following [[bash]] example~~ (~~assuming that file descriptor has not allocated in shell by~~ {{ic\|ls -l /proc/self/fd}} ~~in bash at first):~~{{hc\|$ bash\|<nowiki>$ exec 9<dummy-but-rather-large.img		次の [[bash]] の例のように {{man\|1\|pv\|S,}} (''前述'') を実行します (ファイル記述子が {{ic\|ls -l /proc によってシェルに割り当てられていないと仮定します) 最初は bash の /self/fd}} {{hc\|$ bash\|<nowiki>$ exec 9<dummy-but-rather-large.img
	$ xxd -g 0 -l 0 -s $((0x47ffff)) <&9		$ xxd -g 0 -l 0 -s $((0x47ffff)) <&9
	$ pv -qSs 104857601200 <&9 \|</nowiki> ''program-that-process-load-of-data-but-does-not-limit-read-length-as-desired-nor-support-offset-read''		$ pv -qSs 104857601200 <&9 \|</nowiki> ''program-that-process-load-of-data-but-does-not-limit-read-length-as-desired-nor-support-offset-read''
	$ exec 9<&-}}{{note\|~~Though incompatible with~~ POSIX ~~and~~ ~~some non-~~GNU ~~implementation, it's feasible to replace the usage of~~ {{man\|1\|xxd\|s}} ~~in above example with ''dd'' in conjunction of~~ {{ic\|1=count=0}} ~~and~~ {{ic\|skip}} ~~options as~~ [https://github.com/coreutils/coreutils/blob/4fd708810ce0e0d967c4c14e1ff2ff7b43440b58/tests/dd/skip-seek-past-file.sh#L74 ~~an example in~~ coreutils ~~test suite~~].}}}}		$ exec 9<&-}}{{note\|POSIX および一部の非 GNU 実装とは互換性がありませんが、上記の例の {{man\|1\|xxd\|s}} の使用を、{{ic\|1=count=0}} と組み合わせた ''dd'' に置き換えることは可能です。および {{ic\|skip}} オプション [https://github.com/coreutils/coreutils/blob/4fd708810ce0e0d967c4c14e1ff2ff7b43440b58/tests/dd/skip-seek-past-file.sh#L74 coreutils テストスイートの例]}}}}

	=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===		=== ブータブルなディスクイメージをブロックデバイスに書き込み、任意で進捗情報を表示する ===