Apache Spark
ナビゲーションに移動
検索に移動
関連記事
Apache Spark はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。 Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。 クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。
インストール
apache-sparkAUR パッケージをインストールしてください。
設定
いくつかの環境変数が /etc/profile.d/apache_spark.sh に設定されています。
| ENV | Value | Description |
|---|---|---|
| PATH | $PATH:/usr/lib/apache_spark/bin
|
Spark binaries |
もしあなたのシェルが /etc/profile.d を読み込まなかったら、PATH 環境変数 を調整する必要があるかもしれません:
export PATH=$PATH:/usr/lib/apache_spark/bin