「Wget」の版間の差分
(en:Wgetへの転送ページ) |
|||
1行目: | 1行目: | ||
+ | [[Category:インターネットアプリケーション]] |
||
− | #redirect[[en:Wget]] |
||
+ | [[ar:Wget]] |
||
+ | [[en:Wget]] |
||
+ | [[es:Wget]] |
||
+ | GNU Wget は広く使われているインターネットプロトコルである HTTP, HTTPS, FTP を使用してファイルを取得するためのフリーソフトウェアパッケージです。インタラクティブなコマンドラインツールではないため、スクリプトや cron ジョブ、X-Windows のないターミナルなどから簡単に呼び出すことができます [http://www.gnu.org/software/wget/]。 |
||
+ | |||
+ | ==インストール== |
||
+ | 通常 wget は base グループの一部としてインストールされます。存在しない場合、[[pacman]] を使って {{Pkg|wget}} パッケージをインストールしてください。AUR には git バージョンが存在します: {{AUR|wget-git}}。 |
||
+ | |||
+ | ==設定== |
||
+ | 設定は {{ic|/etc/wgetrc}} で行います。デフォルトの設定ファイルはドキュメントがよく整理されているだけでなく、変更する必要は基本的にありません。複雑なオプションについては man ページを見て下さい。 |
||
+ | |||
+ | ===FTP の自動化=== |
||
+ | 大抵、ネットワーク上で安全にファイルを転送したいときは [[SSH]] が使われますが、SSH で scp や [[rsync]] を使うよりも FTP の方がリソースの消費が抑えられます。FTP はセキュアではありませんが、ファイアウォールで保護されている環境で、CPU が制約されるようなシステムで巨大なデータを転送する場合、FTP を使用するのが理にかなっています。 |
||
+ | # wget <nowiki>ftp://root:somepassword@10.13.X.Y//ifs/home/test/big/</nowiki>"*.tar" |
||
+ | 3,562,035,200 74.4M/s in 47s |
||
+ | 上記の例では、Wget は 3.3 GB のファイルを 74.4MB/s の速度で転送しています。 |
||
+ | |||
+ | In short, this procedure is: |
||
+ | *scriptable |
||
+ | *faster than ssh |
||
+ | *easily used by languages than can substitute string variables |
||
+ | *globbing capable |
||
+ | |||
+ | ===プロキシ=== |
||
+ | Wget は通常のプロキシ環境変数を使います。参照: [[プロキシ設定]]。 |
||
+ | |||
+ | プロキシ認証機能を使うには: |
||
+ | $ wget --proxy-user "DOMAIN\USER" --proxy-password "PASSWORD" URL |
||
+ | |||
+ | HTML 認証フォームを使用するプロキシは利用できません。 |
||
+ | |||
+ | ===pacman の設定=== |
||
+ | [[pacman]] で Wget を使ってプロキシ認証を自動的に行わせたい場合、{{ic|/etc/pacman.conf}} の {{Ic|[options]}} セクションに Wget コマンドを記述します: |
||
+ | XferCommand = /usr/bin/wget --proxy-user "domain\user" --proxy-password="password" --passive-ftp -q --show-progress -c -O %o %u |
||
+ | {{Warning|be aware that storing passwords in plain text is not safe. Make sure that only root can read this file with {{Ic|chmod 600 /etc/pacman.conf}}.}} |
||
+ | |||
+ | ==使用方法== |
||
+ | このセクションでは Wget のユースケースを紹介します。 |
||
+ | |||
+ | ===基本的な使い方=== |
||
+ | |||
+ | Wget の最も一般的なユースケースはインターネットからのファイルのダウンロードでしょう。例えば、[https://upload.wikimedia.org/wikipedia/commons/f/fb/Blue_Wildebeest%2C_Ngorongoro.jpg Wikipedia のヌーの画像] をダウンロードするには、以下のように実行します: |
||
+ | |||
+ | <nowiki>$ wget https://upload.wikimedia.org/wikipedia/commons/f/fb/Blue_Wildebeest%2C_Ngorongoro.jpg</nowiki> |
||
+ | |||
+ | ダウンロードするファイルの URL を既に知っている場合、ブラウザでダウンロードして適当なディレクトリに手動で移動するよりも素早くダウンロードができます。もちろん、単純な使い方以外にも、必要であればダウンロードの自動化を行うことができます。 |
||
+ | |||
+ | ===ウェブサイトの完全なアーカイブを作成=== |
||
+ | Wget はウェブサイトの完全なアーカイブ作成を行うことができます。絶対リンクを相対リンクに変更することでリンクが切れないようにします。 |
||
+ | |||
+ | <nowiki>$ wget -np -r -k 'http://your-url-here'</nowiki> |
2015年11月6日 (金) 19:59時点における版
GNU Wget は広く使われているインターネットプロトコルである HTTP, HTTPS, FTP を使用してファイルを取得するためのフリーソフトウェアパッケージです。インタラクティブなコマンドラインツールではないため、スクリプトや cron ジョブ、X-Windows のないターミナルなどから簡単に呼び出すことができます [1]。
インストール
通常 wget は base グループの一部としてインストールされます。存在しない場合、pacman を使って wget パッケージをインストールしてください。AUR には git バージョンが存在します: wget-gitAUR。
設定
設定は /etc/wgetrc
で行います。デフォルトの設定ファイルはドキュメントがよく整理されているだけでなく、変更する必要は基本的にありません。複雑なオプションについては man ページを見て下さい。
FTP の自動化
大抵、ネットワーク上で安全にファイルを転送したいときは SSH が使われますが、SSH で scp や rsync を使うよりも FTP の方がリソースの消費が抑えられます。FTP はセキュアではありませんが、ファイアウォールで保護されている環境で、CPU が制約されるようなシステムで巨大なデータを転送する場合、FTP を使用するのが理にかなっています。
# wget ftp://root:somepassword@10.13.X.Y//ifs/home/test/big/"*.tar" 3,562,035,200 74.4M/s in 47s
上記の例では、Wget は 3.3 GB のファイルを 74.4MB/s の速度で転送しています。
In short, this procedure is:
- scriptable
- faster than ssh
- easily used by languages than can substitute string variables
- globbing capable
プロキシ
Wget は通常のプロキシ環境変数を使います。参照: プロキシ設定。
プロキシ認証機能を使うには:
$ wget --proxy-user "DOMAIN\USER" --proxy-password "PASSWORD" URL
HTML 認証フォームを使用するプロキシは利用できません。
pacman の設定
pacman で Wget を使ってプロキシ認証を自動的に行わせたい場合、/etc/pacman.conf
の [options]
セクションに Wget コマンドを記述します:
XferCommand = /usr/bin/wget --proxy-user "domain\user" --proxy-password="password" --passive-ftp -q --show-progress -c -O %o %u
使用方法
このセクションでは Wget のユースケースを紹介します。
基本的な使い方
Wget の最も一般的なユースケースはインターネットからのファイルのダウンロードでしょう。例えば、Wikipedia のヌーの画像 をダウンロードするには、以下のように実行します:
$ wget https://upload.wikimedia.org/wikipedia/commons/f/fb/Blue_Wildebeest%2C_Ngorongoro.jpg
ダウンロードするファイルの URL を既に知っている場合、ブラウザでダウンロードして適当なディレクトリに手動で移動するよりも素早くダウンロードができます。もちろん、単純な使い方以外にも、必要であればダウンロードの自動化を行うことができます。
ウェブサイトの完全なアーカイブを作成
Wget はウェブサイトの完全なアーカイブ作成を行うことができます。絶対リンクを相対リンクに変更することでリンクが切れないようにします。
$ wget -np -r -k 'http://your-url-here'