Hadoop - 版の履歴

Kgx: カテゴリにApacheを追加

2023-02-22T17:19:55Z

カテゴリにApacheを追加

← 古い版		2023年2月23日 (木) 02:19時点における版
1行目:		1行目:
			[[Category:Apache]]
	[[Category:分散コンピューティング]]		[[Category:分散コンピューティング]]
	{{Related articles start}}		{{Related articles start}}

Kusakata: 同期

2018-02-19T11:43:29Z

同期

← 古い版		2018年2月19日 (月) 20:43時点における版
8行目:		8行目:

	== インストール ==		== インストール ==
	~~[[Arch User Repository]] の~~ {{AUR\|hadoop}} パッケージをインストールしてください。		{{AUR\|hadoop}} パッケージをインストールしてください。

	== 設定 ==		== 設定 ==
50行目:		50行目:
	{{ic\|/etc/hadoop/hadoop-env.sh}} で {{ic\|JAVA_HOME}} を設定する必要があります。デフォルトで使用されるディレクトリは Arch Linux でインストールされるディレクトリと異なっているため必須です:		{{ic\|/etc/hadoop/hadoop-env.sh}} で {{ic\|JAVA_HOME}} を設定する必要があります。デフォルトで使用されるディレクトリは Arch Linux でインストールされるディレクトリと異なっているため必須です:

	{{hc\|1=/etc/hadoop/hadoop-env.sh\|2=export JAVA_HOME=/usr/lib/jvm/java-7-openjdk/}}		{{hc\|1=/etc/hadoop/hadoop-env.sh\|2=export JAVA_HOME=/usr/lib/jvm/java-8-openjdk/}}

	== シングルノード設定 ==		== シングルノード設定 ==
64行目:		64行目:
	$ mkdir input		$ mkdir input
	$ cp /etc/hadoop/*.xml input		$ cp /etc/hadoop/*.xml input
	$ hadoop jar /usr/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'		$ hadoop jar /usr/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0.jar grep input output 'dfs[a-z.]+'
	$ cat output/*		$ cat output/*

85行目:		85行目:
	$ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa		$ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
	$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2		$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2
			$ chmod 0600 ~/.ssh/authorized_keys

	また、{{ic\|/etc/ssh/sshd_config}} の以下の行がコメントアウトされていることを確認してください:		また、{{ic\|/etc/ssh/sshd_config}} の以下の行がコメントアウトされていることを確認してください:
109行目:		110行目:

	サンプルを実行:		サンプルを実行:
	$ hadoop jar /usr/lib/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'		$ hadoop jar /usr/lib/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'

	output ファイルを確認:		output ファイルを確認:

Kusakata: 文字列「[[zh-CN:」を「[[zh-hans:」に置換

2017-01-28T15:36:36Z

文字列「[[zh-CN:」を「[[zh-hans:」に置換

← 古い版		2017年1月29日 (日) 00:36時点における版
4行目:		4行目:
	{{Related articles end}}		{{Related articles end}}
	[[en:Hadoop]]		[[en:Hadoop]]
	[[zh-CN:Hadoop]]		[[zh-hans:Hadoop]]
	[http://hadoop.apache.org Apache Hadoop] はコモディティハードウェアによる巨大なクラスタ上でアプリケーションを実行するためのフレームワークです。Hadoop フレームワークは透過的にアプリケーションに信頼性とデータモーションを提供します。Hadoop は Map/Reduce という名前の計算パラダイムを実装しています。そこではアプリケーションは多数の小さな欠片に分割して、クラスタ内のノード上でそれぞれを実行・再実行できるようにします。さらに、Hadoop は計算ノード上にデータを保存するための分散ファイルシステム (HDFS) を備えており、クラスタ全体で非常に高い帯域を実現します。MapReduce と Hadoop Distributed File System はどちらもノードでのエラーをフレームワークによって自動的に処理できるように設計されています。		[http://hadoop.apache.org Apache Hadoop] はコモディティハードウェアによる巨大なクラスタ上でアプリケーションを実行するためのフレームワークです。Hadoop フレームワークは透過的にアプリケーションに信頼性とデータモーションを提供します。Hadoop は Map/Reduce という名前の計算パラダイムを実装しています。そこではアプリケーションは多数の小さな欠片に分割して、クラスタ内のノード上でそれぞれを実行・再実行できるようにします。さらに、Hadoop は計算ノード上にデータを保存するための分散ファイルシステム (HDFS) を備えており、クラスタ全体で非常に高い帯域を実現します。MapReduce と Hadoop Distributed File System はどちらもノードでのエラーをフレームワークによって自動的に処理できるように設計されています。

Kusakata: 同期

2016-10-15T07:16:55Z

同期

差分を表示

Colajam93: カテゴリを同期

2016-10-14T16:01:07Z

カテゴリを同期

← 古い版		2016年10月15日 (土) 01:01時点における版
1行目:		1行目:
	[[Category:~~ウェブサーバ~~ー]]		[[Category:分散コンピューティング]]
	[[en:Hadoop]]		[[en:Hadoop]]
	[[zh-CN:Hadoop]]		[[zh-CN:Hadoop]]

Kusakata: ページの作成:「Category:ウェブサーバー en:Hadoop zh-CN:Hadoop [http://hadoop.apache.org Apache Hadoop] はコモディティハードウェアによる巨大なクラ...」

2015-06-18T09:35:08Z

ページの作成:「Category:ウェブサーバー en:Hadoop zh-CN:Hadoop [http://hadoop.apache.org Apache Hadoop] はコモディティハードウェアによる巨大なクラ...」

新規ページ

[[Category:ウェブサーバー]]
[[en:Hadoop]]
[[zh-CN:Hadoop]]
[http://hadoop.apache.org Apache Hadoop] はコモディティハードウェアによる巨大なクラスタ上でアプリケーションを実行するためのフレームワークです。Hadoop フレームワークは透過的にアプリケーションに信頼性とデータモーションを提供します。Hadoop は Map/Reduce という名前の計算パラダイムを実装しています。そこではアプリケーションは多数の小さな欠片に分割して、クラスタ内のノード上でそれぞれを実行・再実行できるようにします。さらに、Hadoop は計算ノード上にデータを保存するための分散ファイルシステム (HDFS) を備えており、クラスタ全体で非常に高い帯域を実現します。MapReduce と Hadoop Distributed File System はどちらもノードでのエラーをフレームワークによって自動的に処理できるように設計されています。

== インストール ==
[[Arch User Repository]] の {{AUR|hadoop}} パッケージをインストールしてください。

== 設定 ==

デフォルトで、hadoop は擬似分散操作ができるように設定されています。{{ic|/etc/profile.d/hadoop.sh}} には伝統的な hadoop とは異なる値が設定されている環境変数があります。

{| class="wikitable"
|-
! scope="col"| 環境変数
! scope="col"| 値
! scope="col"| 説明
! scope="col"| パーミッション
|-
| align="center"|HADOOP_CONF_DIR
| align="left"|{{ic|/etc/hadoop}}
| align="center"|{{ic|Where configuration files are stored.}}
| align="left"|Read
|-
| align="center"|HADOOP_LOG_DIR
| align="left"|{{ic|/tmp/hadoop/log}}
| align="center"|{{ic|Where log files are stored.}}
| align="left"|Read and Write
|-
| align="center"|HADOOP_SLAVES
| align="left"|{{ic|/etc/hadoop/slaves}}
| align="center"|{{ic|File naming remote slave hosts.}}
| align="left"|Read
|-
| align="center"|HADOOP_PID_DIR
| align="left"|{{ic|/tmp/hadoop/run}}
| align="center"|{{ic|Where pid files are stored.}}
| align="left"|Read and Write
|}

また、以下のファイルを正しく設定する必要があります。

/etc/hosts
/etc/hostname
/etc/locale.conf

{{ic|JAVA_HOME}} は {{pkg|jdk7-openjdk}} の {{ic|/etc/profile.d/jre.sh}} によって自動的に設定されているはずです。{{ic|JAVA_HOME}} を確認:
$ echo $JAVA_HOME

何も出力されない場合、一度ログアウトしてからログインしなおして下さい。

== シングルノード設定 ==
{{out of date|This section of the article is based on documentation for an earlier version of Hadoop.}}

{{Note|This section is based on the [http://hadoop.apache.org/docs/stable/ Hadoop Official Documentation] }}

=== スタンドアロン操作 ===

By default, Hadoop is configured to run in a non-distributed mode, as a single Java process. This is useful for debugging.

The following example copies the unpacked conf directory to use as input and then finds and displays every match of the given regular expression. Output is written to the given output directory.
$ export HADOOP_CONF_DIR=/usr/lib/hadoop/orig_conf
$ mkdir input
$ cp /etc/hadoop/*.xml input
$ hadoop jar /usr/lib/hadoop/hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
$ cat output/*

For the current 2.5.x release of hadoop included in the AUR:
$ HADOOP_CONF_DIR=/usr/lib/hadoop/orig_etc/hadoop/
$ mkdir input
$ cp /etc/hadoop/hadoop/*.xml input
$ hadoop jar /usr/lib/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'
$ cat output/*

=== 擬似分散操作 ===

Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.

By default, Hadoop will run as the user root. You can change the user in {{ic|/etc/conf.d/hadoop}}:

HADOOP_USERNAME="<your user name>"

==== パスフレーズの要らない ssh の設定 ====

Make sure you have [[sshd]] enabled, or start it with {{ic|systemctl enable sshd}}. Now check that you can connect to localhost without a passphrase:

$ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands:

$ ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2

Also make sure this line is commented in {{ic|/etc/ssh/sshd_config}}

{{hc|/etc/ssh/sshd_config|
#AuthorizedKeysFile .ssh/authorized_keys}}

==== 実行 ====

Format a new distributed-filesystem:
$ hadoop namenode -format

Start the hadoop daemons:
# systemctl start hadoop-datanode
# systemctl start hadoop-jobtracker
# systemctl start hadoop-namenode
# systemctl start hadoop-secondarynamenode
# systemctl start hadoop-tasktracker

The hadoop daemon log output is written to the {{ic|<nowiki>${HADOOP_LOG_DIR}</nowiki>}} directory (defaults to {{ic|/var/log/hadoop}}).

Browse the web interface for the NameNode and the JobTracker; by default they are available at:

* NameNode - http://localhost:50070/
* JobTracker - http://localhost:50030/

Copy the input files into the distributed filesystem:
$ hadoop fs -put /etc/hadoop input

Run some of the examples provided:
$ hadoop jar /usr/lib/hadoop/hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

Examine the output files:

Copy the output files from the distributed filesystem to the local filesytem and examine them:
$ hadoop fs -get output output
$ cat output/*

or

View the output files on the distributed filesystem:
$ hadoop fs -cat output/*

When you're done, stop the daemons with:
# systemctl stop hadoop-datanode
# systemctl stop hadoop-jobtracker
# systemctl stop hadoop-namenode
# systemctl stop hadoop-secondarynamenode
# systemctl stop hadoop-tasktracker