Apache Spark

提供: ArchWiki
2016年10月15日 (土) 00:52時点におけるColajam93 (トーク | 投稿記録)による版 (作成)
(差分) ← 古い版 | 最新版 (差分) | 新しい版 → (差分)
ナビゲーションに移動 検索に移動

関連記事

Apache Spark はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。 Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。 クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。

インストール

apache-sparkAUR パッケージをインストールしてください。

設定

いくつかの環境変数が /etc/profile.d/apache_spark.sh に設定されています。

ENV Value Description
PATH $PATH:/usr/lib/apache_spark/bin Spark binaries

もしあなたのシェルが /etc/profile.d を読み込まなかったら、PATH 環境変数 を調整する必要があるかもしれません:

export PATH=$PATH:/usr/lib/apache_spark/bin