「Anything-sync-daemon」の版間の差分
(en:Anything-sync-daemonへの転送ページ) |
Kusanaginoturugi (トーク | 投稿記録) (カテゴリを修正) |
||
(3人の利用者による、間の5版が非表示) | |||
1行目: | 1行目: | ||
+ | [[Category:システム管理]] |
||
− | #redirect[[en:Anything-sync-daemon]] |
||
+ | [[en:Anything-sync-daemon]] |
||
+ | [[zh-hans:Anything-sync-daemon]] |
||
+ | {{Related articles start}} |
||
+ | {{Related|Profile-sync-daemon}} |
||
+ | {{Related articles end}} |
||
+ | |||
+ | {{Pkg|anything-sync-daemon}} (asd) はユーザーが指定したディレクトリを tmpfs で管理して定期的に物理ディスク (HDD/SSD) に同期させる、とても小さな擬似的なデーモンです。シンボリックリンクと rsync で tmpfs のコピーとメディアのバックアップを同期させるという革新的な利用法によります。さらに、asd にはクラッシュからの復元機能が存在します。 |
||
+ | |||
+ | == Asd と Psd == |
||
+ | {{Warning|ブラウザのプロファイルを同期したい場合、asd を使うことは推奨されません。代わりに、tmpfs でブラウザプロファイルを扱えるようにサニティーチェックが組み込まれている [[Profile-sync-daemon]] を使って下さい。Anything-sync-daemon はそのようなチェックを行いません。特定の状況下で、ブラウザのプロファイルデータが消失する可能性があります。警告しましたよ。}} |
||
+ | |||
+ | == Asd のメリット == |
||
+ | asd の設計目標: |
||
+ | #完全に透過的に使用可能 |
||
+ | #物理ディスクの損耗を減らす |
||
+ | #速度 |
||
+ | |||
+ | 同期元を [[tmpfs]] (RAM ディスク) に再配置して、ファイルを使用するのに伴う I/O の猛襲の対象を物理ドライブから RAM に変更することにより、物理ドライブの消耗を抑えつつシステムの速度や反応性を劇的に高められます。物理ディスクのアクセス時間はミリ秒単位なのに対してRAM のアクセス時間はナノ秒オーダーです。0の数が6個も違うので、1000000倍高速となります。 |
||
+ | |||
+ | ==セットアップとインストール== |
||
+ | {{Pkg|anything-sync-daemon}} はパッケージからインストールできます。 |
||
+ | |||
+ | === /etc/asd.conf の編集 === |
||
+ | |||
+ | (パッケージに含まれている) {{ic|/etc/asd.conf}} で設定を行います。 |
||
+ | |||
+ | *最低でも、''asd'' で管理するディレクトリを WHATTOSYNC で定義してください。構文は下を参照。 |
||
+ | *任意で VOLATILE 変数をアンコメントして使うことでディストロの tmpfs の場所を定義することができます。 |
||
+ | * 任意で overlayfs を利用することで同期を高速化させてメモリの使用量を減らすことができます。このオプションを使う場合、'overlay' (Arch のデフォルト) または 'overlayfs' (Ubuntu <15.05) カーネルモジュールを利用するようにカーネルが設定されている必要があります。この機能の詳細は下の FAQ を見て下さい。 |
||
+ | |||
+ | {{Note|VOLATILE の設定についてはデフォルト値の "/dev/shm" で問題ないはずです。bleachbit などのソフトウェアを asd と一緒に使う場合、{{ic|/tmp}} に保存されているファイルを bleachbit が削除することがあるので危険です。このため {{ic|/dev/shm}} を設定することが推奨されています。}} |
||
+ | |||
+ | 例: |
||
+ | WHATTOSYNC=('/var/lib/monitorix' '/srv/http' '/foo/bar') |
||
+ | |||
+ | または: |
||
+ | |||
+ | WHATTOSYNC=( |
||
+ | '/var/lib/monitorix' |
||
+ | '/srv/http' |
||
+ | '/foo/bar' |
||
+ | ) |
||
+ | |||
+ | === asd を使う === |
||
+ | === プレビューモード (parse) === |
||
+ | |||
+ | 'parse' オプションを使うことで {{ic|/etc/asd.conf}} に基づいて ''asd'' が何を行うのかを正確に表示することができます。ディレクトリのサイズやパス、スナップショットが作成されているかどうかなどの情報も出力されます。次のように呼び出して下さい: |
||
+ | |||
+ | $ asd p |
||
+ | Anything-sync-daemon v5.61 on Arch Linux. |
||
+ | |||
+ | Systemd service is currently active. |
||
+ | Systemd resync service is currently active. |
||
+ | Overlayfs v23 is currently active. |
||
+ | |||
+ | Asd will manage the following per /run/asd.conf settings: |
||
+ | |||
+ | owner/group id: root/0 |
||
+ | target to manage: /srv/http/serve |
||
+ | sync target: /srv/http/.serve-backup_asd |
||
+ | tmpfs target: /dev/shm/asd-root/srv/http/serve |
||
+ | dir size: 21M |
||
+ | overlayfs size: 15M |
||
+ | recovery dirs: 2 <- delete with the c option |
||
+ | dir path/size: /srv/http/.serve-backup_asd-crashrecovery-20141105_124948 (17M) |
||
+ | dir path/size: /srv/http/.serve-backup_asd-crashrecovery-20150124_062311 (21M) |
||
+ | |||
+ | owner/group id: facade/100 |
||
+ | target to manage: /home/facade/logs |
||
+ | sync target: /home/facade/.logs-backup_asd |
||
+ | tmpfs target: /dev/shm/asd-facadey/home/facade/logs |
||
+ | dir size: 1.5M |
||
+ | overlayfs size: 480K |
||
+ | recovery dirs: none |
||
+ | |||
+ | === クリーンモード === |
||
+ | クリーンモードを使うと保存されているスナップショットを全て削除します。削除しても問題ない場合にのみ実行してください。 |
||
+ | |||
+ | {{Note|同期元の所有者が root や他のユーザーである場合、asd でクリーンモードを実行すると、同期元のパーミッションのエラーが表示されます。root で実行することでエラーを回避できます。}} |
||
+ | |||
+ | {{hc|# asd c| |
||
+ | Anything-sync-daemon v5.61 on Arch Linux. |
||
+ | |||
+ | Deleting 2 crashrecovery dir(s) for sync target /srv/http/serve |
||
+ | /srv/http/.serve-backup_asd-crashrecovery-20141105_124948 |
||
+ | /srv/http/.serve-backup_asd-crashrecovery-20150124_062311 |
||
+ | }} |
||
+ | |||
+ | === asd を実行 === |
||
+ | |||
+ | 同期したり同期を解除するのに {{ic|/usr/bin/anything-sync-daemon}} を直接実行してはいけません。代わりにサービスファイルを使って下さい。 |
||
+ | |||
+ | [[systemd]] の[[デーモン|サービス]]ファイルとタイマーが両方入っており、これらを使って ''asd'' を制御することができます。タイマーは tmpfs をディスクにコピーバックさせ、一時間に一度実行されます。タイマーは {{ic|asd.service}} によって勝手に起動します。 |
||
+ | |||
+ | 起動時・シャットダウン時に実行させるために {{ic|asd.service}} を[[systemd#ユニットを使う|起動・有効化]]してください ('''強く推奨''')。 |
||
+ | |||
+ | === 同期を行う頻度を変更 (任意) === |
||
+ | |||
+ | パッケージに含まれているタイマーでは1時間ごとに同期が行われます。[[Systemd#ユニットファイルの編集|systemd ユニット]]を編集することで同期間隔を変更することが可能です。以下の例では10分ごとに同期するようにタイマーを変更しています: |
||
+ | |||
+ | {{hc|/etc/systemd/system/asd-resync.timer.d/frequency.conf|<nowiki> |
||
+ | [Unit] |
||
+ | Description=Timer for Arofile-sync-daemon - 10min |
||
+ | |||
+ | [Timer] |
||
+ | # Empty value resets the list of timers |
||
+ | OnUnitActiveSec= |
||
+ | OnUnitActiveSec=10min |
||
+ | </nowiki>}} |
||
+ | |||
+ | オプションについては {{man|5|systemd.timer}} を見て下さい。 |
||
+ | |||
+ | == FAQ == |
||
+ | === overlayfs とは何か、どうして使ったほうが良いのか? === |
||
+ | |||
+ | Overlayfs は Linux カーネル 3.18.0 でメインラインに取り込まれたシンプルなユニオンファイルシステムです。asd バージョン 5.54 から、overlayfs を使うことで asd の tmpfs 領域のメモリフットプリントを減らしたり、同期を高速化させることができるようになっています。オーバーレイマウントでは、全てのデータではなく、変更が加えられたデータだけが書き出されるというところがミソです。overlayfs モードで実行した場合、asd がデフォルトで使用する同一の復帰機能も有効になります。Overlayfs モードは {{ic|/etc/asd.conf}} の {{ic|1=USE_OVERLAYFS="yes"}} という行をアンコメントしてデーモンを再起動することで有効にできます。 |
||
+ | |||
+ | Linux カーネルで利用できる overlayfs にはディストロによって複数のバージョンが存在します。バージョン 22 以前ではモジュールは 'overlayfs' と呼ばれていましたが、新しいバージョン (23 以上) ではモジュールの名前は 'overlay' になっています ('fs' が取られた)。Asd はあなたの使用しているカーネルで利用できる overlayfs を自動的に検出します。 |
||
+ | |||
+ | === システムがクラッシュして同期がされませんでした。どうすればいいですか? === |
||
+ | |||
+ | 運が良ければ、同期しているディレクトリの"最新の問題がない"バックアップがファイルシステムに残っている可能性があります。{{ic|asd}} の再起動時に、tmpfs コピーのシンボリックリンクに問題がないか確認するチェックが行われます。問題がなかった場合、''asd'' は"最新の問題ない"バックアップのスナップショットを作成して元に戻します。これは ''asd'' によってデータが失われないようにするためのサニティーチェックであり、データが消失した場合、他に原因があります。 |
||
+ | |||
+ | === スナップショットはどこにありますか? === |
||
+ | |||
+ | 同期元と同じディレクトリにスナップショットはあり、リカバリが作成されたときの時刻のタイムスタンプが付いています。例えば、{{ic|/foo/bar}} のスナップショットは {{ic|/foo/.bar-backup_asd-crashrecovery-20141221_070112}} などとなります。もちろん、日時_時間の部分は変わってきます。 |
||
+ | |||
+ | === スナップショットを復元するにはどうすればいいですか? === |
||
+ | |||
+ | * {{ic|asd}} を停止してください。 |
||
+ | * 同期しているディレクトリのシンボリックリンクがないことを確認します。存在する場合は、''asd'' が何らかの理由で正しく停止していません。 |
||
+ | * 同期元の"問題がある"コピーをバックアップに移動してください (やみくもに削除してはいけません)。 |
||
+ | * スナップショットディレクトリを同期元にコピーしてください。 |
||
+ | |||
+ | {{ic|/foo/bar}} を使っている場合: |
||
+ | $ mv /foo/bar /foo/bar-bad |
||
+ | $ cp -a /foo/.bar-backup_asd-crashrecovery-20141221_070112 /foo/bar |
||
+ | |||
+ | === asd でスナップショットを自動的に削除できますか? === |
||
+ | "clean" スイッチを付けて asd を実行すればスナップショットが削除されます。 |
||
+ | |||
+ | == サポート == |
||
+ | |||
+ | 気づいたことやコメントなどは [https://bbs.archlinux.org/viewtopic.php?id=139141 議論スレッド] に投稿してください。 |
2021年12月8日 (水) 12:46時点における最新版
関連記事
anything-sync-daemon (asd) はユーザーが指定したディレクトリを tmpfs で管理して定期的に物理ディスク (HDD/SSD) に同期させる、とても小さな擬似的なデーモンです。シンボリックリンクと rsync で tmpfs のコピーとメディアのバックアップを同期させるという革新的な利用法によります。さらに、asd にはクラッシュからの復元機能が存在します。
Asd と Psd
Asd のメリット
asd の設計目標:
- 完全に透過的に使用可能
- 物理ディスクの損耗を減らす
- 速度
同期元を tmpfs (RAM ディスク) に再配置して、ファイルを使用するのに伴う I/O の猛襲の対象を物理ドライブから RAM に変更することにより、物理ドライブの消耗を抑えつつシステムの速度や反応性を劇的に高められます。物理ディスクのアクセス時間はミリ秒単位なのに対してRAM のアクセス時間はナノ秒オーダーです。0の数が6個も違うので、1000000倍高速となります。
セットアップとインストール
anything-sync-daemon はパッケージからインストールできます。
/etc/asd.conf の編集
(パッケージに含まれている) /etc/asd.conf
で設定を行います。
- 最低でも、asd で管理するディレクトリを WHATTOSYNC で定義してください。構文は下を参照。
- 任意で VOLATILE 変数をアンコメントして使うことでディストロの tmpfs の場所を定義することができます。
- 任意で overlayfs を利用することで同期を高速化させてメモリの使用量を減らすことができます。このオプションを使う場合、'overlay' (Arch のデフォルト) または 'overlayfs' (Ubuntu <15.05) カーネルモジュールを利用するようにカーネルが設定されている必要があります。この機能の詳細は下の FAQ を見て下さい。
例:
WHATTOSYNC=('/var/lib/monitorix' '/srv/http' '/foo/bar')
または:
WHATTOSYNC=( '/var/lib/monitorix' '/srv/http' '/foo/bar' )
asd を使う
プレビューモード (parse)
'parse' オプションを使うことで /etc/asd.conf
に基づいて asd が何を行うのかを正確に表示することができます。ディレクトリのサイズやパス、スナップショットが作成されているかどうかなどの情報も出力されます。次のように呼び出して下さい:
$ asd p Anything-sync-daemon v5.61 on Arch Linux. Systemd service is currently active. Systemd resync service is currently active. Overlayfs v23 is currently active. Asd will manage the following per /run/asd.conf settings: owner/group id: root/0 target to manage: /srv/http/serve sync target: /srv/http/.serve-backup_asd tmpfs target: /dev/shm/asd-root/srv/http/serve dir size: 21M overlayfs size: 15M recovery dirs: 2 <- delete with the c option dir path/size: /srv/http/.serve-backup_asd-crashrecovery-20141105_124948 (17M) dir path/size: /srv/http/.serve-backup_asd-crashrecovery-20150124_062311 (21M) owner/group id: facade/100 target to manage: /home/facade/logs sync target: /home/facade/.logs-backup_asd tmpfs target: /dev/shm/asd-facadey/home/facade/logs dir size: 1.5M overlayfs size: 480K recovery dirs: none
クリーンモード
クリーンモードを使うと保存されているスナップショットを全て削除します。削除しても問題ない場合にのみ実行してください。
# asd c
Anything-sync-daemon v5.61 on Arch Linux. Deleting 2 crashrecovery dir(s) for sync target /srv/http/serve /srv/http/.serve-backup_asd-crashrecovery-20141105_124948 /srv/http/.serve-backup_asd-crashrecovery-20150124_062311
asd を実行
同期したり同期を解除するのに /usr/bin/anything-sync-daemon
を直接実行してはいけません。代わりにサービスファイルを使って下さい。
systemd のサービスファイルとタイマーが両方入っており、これらを使って asd を制御することができます。タイマーは tmpfs をディスクにコピーバックさせ、一時間に一度実行されます。タイマーは asd.service
によって勝手に起動します。
起動時・シャットダウン時に実行させるために asd.service
を起動・有効化してください (強く推奨)。
同期を行う頻度を変更 (任意)
パッケージに含まれているタイマーでは1時間ごとに同期が行われます。systemd ユニットを編集することで同期間隔を変更することが可能です。以下の例では10分ごとに同期するようにタイマーを変更しています:
/etc/systemd/system/asd-resync.timer.d/frequency.conf
[Unit] Description=Timer for Arofile-sync-daemon - 10min [Timer] # Empty value resets the list of timers OnUnitActiveSec= OnUnitActiveSec=10min
オプションについては systemd.timer(5) を見て下さい。
FAQ
overlayfs とは何か、どうして使ったほうが良いのか?
Overlayfs は Linux カーネル 3.18.0 でメインラインに取り込まれたシンプルなユニオンファイルシステムです。asd バージョン 5.54 から、overlayfs を使うことで asd の tmpfs 領域のメモリフットプリントを減らしたり、同期を高速化させることができるようになっています。オーバーレイマウントでは、全てのデータではなく、変更が加えられたデータだけが書き出されるというところがミソです。overlayfs モードで実行した場合、asd がデフォルトで使用する同一の復帰機能も有効になります。Overlayfs モードは /etc/asd.conf
の USE_OVERLAYFS="yes"
という行をアンコメントしてデーモンを再起動することで有効にできます。
Linux カーネルで利用できる overlayfs にはディストロによって複数のバージョンが存在します。バージョン 22 以前ではモジュールは 'overlayfs' と呼ばれていましたが、新しいバージョン (23 以上) ではモジュールの名前は 'overlay' になっています ('fs' が取られた)。Asd はあなたの使用しているカーネルで利用できる overlayfs を自動的に検出します。
システムがクラッシュして同期がされませんでした。どうすればいいですか?
運が良ければ、同期しているディレクトリの"最新の問題がない"バックアップがファイルシステムに残っている可能性があります。asd
の再起動時に、tmpfs コピーのシンボリックリンクに問題がないか確認するチェックが行われます。問題がなかった場合、asd は"最新の問題ない"バックアップのスナップショットを作成して元に戻します。これは asd によってデータが失われないようにするためのサニティーチェックであり、データが消失した場合、他に原因があります。
スナップショットはどこにありますか?
同期元と同じディレクトリにスナップショットはあり、リカバリが作成されたときの時刻のタイムスタンプが付いています。例えば、/foo/bar
のスナップショットは /foo/.bar-backup_asd-crashrecovery-20141221_070112
などとなります。もちろん、日時_時間の部分は変わってきます。
スナップショットを復元するにはどうすればいいですか?
asd
を停止してください。- 同期しているディレクトリのシンボリックリンクがないことを確認します。存在する場合は、asd が何らかの理由で正しく停止していません。
- 同期元の"問題がある"コピーをバックアップに移動してください (やみくもに削除してはいけません)。
- スナップショットディレクトリを同期元にコピーしてください。
/foo/bar
を使っている場合:
$ mv /foo/bar /foo/bar-bad $ cp -a /foo/.bar-backup_asd-crashrecovery-20141221_070112 /foo/bar
asd でスナップショットを自動的に削除できますか?
"clean" スイッチを付けて asd を実行すればスナップショットが削除されます。
サポート
気づいたことやコメントなどは 議論スレッド に投稿してください。