Apache Spark

関連記事

• Hadoop

Apache Spark はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。 Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。 クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。

インストール

apache-spark^AUR パッケージをインストールしてください。

設定

いくつかの環境変数が /etc/profile.d/apache_spark.sh に設定されています。

ENV	Value	Description
PATH	$PATH:/usr/lib/apache_spark/bin	Spark binaries

もしあなたのシェルが /etc/profile.d を読み込まなかったら、PATH 環境変数 を調整する必要があるかもしれません:

export PATH=$PATH:/usr/lib/apache_spark/bin