「Apache Spark」の版間の差分

削除された内容追加された内容

インライン

2017年6月21日 (水) 22:50時点における最新版

Hadoop

Apache Spark はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。 Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。

インストール

apache-spark^AUR パッケージをインストールしてください。

設定

いくつかの環境変数が /etc/profile.d/apache-spark.sh に設定されています。

変数	値	説明
PATH	`$PATH:/opt/apache-spark/bin`	Spark バイナリ

もしあなたのシェルが /etc/profile.d を読み込まなかったら、PATH 環境変数を調整する必要があるかもしれません:

export PATH=$PATH:/opt/apache-spark/bin

R のサポートの有効化

R パッケージの sparkR が付属していますがインストール時にはビルドされません。R から Spark に接続するには以下のコマンドを実行してビルドする必要があります:

# $SPARK_HOME/R/install-dev.sh

詳しくは $SPARK_HOME/R/README.md を見てください。$SPARK_HOME/R/DOCUMENTATION.md の手順に従うことでパッケージドキュメントもビルドできます。

sparkR R パッケージをビルドしたら /usr/bin/sparkR で接続することが可能です。

@@ 15行目: / 15行目: @@
 == 設定 ==
-いくつかの環境変数が {{ic|/etc/profile.d/apache_spark.sh}} に設定されています。
+いくつかの環境変数が {{ic|/etc/profile.d/apache-spark.sh}} に設定されています。
 {| class="wikitable"
@@ 24行目: / 24行目: @@
 |-
 | PATH
-| {{ic|$PATH:/usr/lib/apache_spark/bin}}
+| {{ic|$PATH:/opt/apache-spark/bin}}
 | Spark バイナリ
 |}
@@ 30行目: / 30行目: @@
 もしあなたのシェルが {{ic|/etc/profile.d}} を読み込まなかったら、{{ic|PATH}} [[環境変数]]を調整する必要があるかもしれません:
- export PATH=$PATH:/usr/lib/apache_spark/bin
+ export PATH=$PATH:/opt/apache-spark/bin
+== R のサポートの有効化 ==
+[[R]] パッケージの [https://spark.apache.org/docs/latest/sparkr.html sparkR] が付属していますがインストール時にはビルドされません。R から Spark に接続するには以下のコマンドを実行してビルドする必要があります:
+ # $SPARK_HOME/R/install-dev.sh
+詳しくは {{ic|$SPARK_HOME/R/README.md}} を見てください。{{ic|$SPARK_HOME/R/DOCUMENTATION.md}} の手順に従うことでパッケージドキュメントもビルドできます。
+sparkR R パッケージをビルドしたら {{ic|/usr/bin/sparkR}} で接続することが可能です。