Apache Sparkのソースを表示

[[Category:分散コンピューティング]]
[[en:Apache Spark]]
{{Related articles start}}
{{Related|Hadoop}}
{{Related articles end}}

[https://spark.apache.org Apache Spark] はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。
Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。
クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。

== インストール ==

{{AUR|apache-spark}} パッケージをインストールしてください。

== 設定 ==

いくつかの環境変数が {{ic|/etc/profile.d/apache-spark.sh}} に設定されています。

{| class="wikitable"
|-
! 変数
! 値
! 説明
|-
| PATH
| {{ic|$PATH:/opt/apache-spark/bin}}
| Spark バイナリ
|}

もしあなたのシェルが {{ic|/etc/profile.d}} を読み込まなかったら、{{ic|PATH}} [[環境変数]]を調整する必要があるかもしれません:

 export PATH=$PATH:/opt/apache-spark/bin

== R のサポートの有効化 ==

[[R]] パッケージの [https://spark.apache.org/docs/latest/sparkr.html sparkR] が付属していますがインストール時にはビルドされません。R から Spark に接続するには以下のコマンドを実行してビルドする必要があります:

 # $SPARK_HOME/R/install-dev.sh

詳しくは {{ic|$SPARK_HOME/R/README.md}} を見てください。{{ic|$SPARK_HOME/R/DOCUMENTATION.md}} の手順に従うことでパッケージドキュメントもビルドできます。

sparkR R パッケージをビルドしたら {{ic|/usr/bin/sparkR}} で接続することが可能です。