「Apache Spark」の版間の差分
ナビゲーションに移動
検索に移動
(作成) |
(同期) |
||
| (同じ利用者による、間の1版が非表示) | |||
| 15行目: | 15行目: | ||
== 設定 == |
== 設定 == |
||
| − | いくつかの環境変数が {{ic|/etc/profile.d/ |
+ | いくつかの環境変数が {{ic|/etc/profile.d/apache-spark.sh}} に設定されています。 |
{| class="wikitable" |
{| class="wikitable" |
||
|- |
|- |
||
| − | ! |
+ | ! 変数 |
| − | ! |
+ | ! 値 |
| + | ! 説明 |
||
| − | ! Description |
||
|- |
|- |
||
| PATH |
| PATH |
||
| − | | {{ic|$PATH:/ |
+ | | {{ic|$PATH:/opt/apache-spark/bin}} |
| − | | Spark |
+ | | Spark バイナリ |
|} |
|} |
||
| − | もしあなたのシェルが {{ic|/etc/profile.d}} を読み込まなかったら、{{ic|PATH}} [[環境変数]] |
+ | もしあなたのシェルが {{ic|/etc/profile.d}} を読み込まなかったら、{{ic|PATH}} [[環境変数]]を調整する必要があるかもしれません: |
| − | export PATH=$PATH:/ |
+ | export PATH=$PATH:/opt/apache-spark/bin |
| + | |||
| + | == R のサポートの有効化 == |
||
| + | |||
| + | [[R]] パッケージの [https://spark.apache.org/docs/latest/sparkr.html sparkR] が付属していますがインストール時にはビルドされません。R から Spark に接続するには以下のコマンドを実行してビルドする必要があります: |
||
| + | |||
| + | # $SPARK_HOME/R/install-dev.sh |
||
| + | |||
| + | 詳しくは {{ic|$SPARK_HOME/R/README.md}} を見てください。{{ic|$SPARK_HOME/R/DOCUMENTATION.md}} の手順に従うことでパッケージドキュメントもビルドできます。 |
||
| + | |||
| + | sparkR R パッケージをビルドしたら {{ic|/usr/bin/sparkR}} で接続することが可能です。 |
||
2017年6月21日 (水) 22:50時点における最新版
関連記事
Apache Spark はオープンソースのクラスタコンピューティングフレームワークで、もともとカリフォルニア大学バークレー校の AMPLab で開発されていました。 Hadoop の二段式ディスクベース MapReduce パラダイムと比較して、Spark のインメモリ処理はいくつかのアプリケーションにおいて100倍高速なパフォーマンスをもたらします。 クラスタのメモリへのデータのロードと、繰り返しアクセスがユーザープログラムに許されているため、Spark は機械学習アルゴリズムに適しています。
インストール
apache-sparkAUR パッケージをインストールしてください。
設定
いくつかの環境変数が /etc/profile.d/apache-spark.sh に設定されています。
| 変数 | 値 | 説明 |
|---|---|---|
| PATH | $PATH:/opt/apache-spark/bin
|
Spark バイナリ |
もしあなたのシェルが /etc/profile.d を読み込まなかったら、PATH 環境変数を調整する必要があるかもしれません:
export PATH=$PATH:/opt/apache-spark/bin
R のサポートの有効化
R パッケージの sparkR が付属していますがインストール時にはビルドされません。R から Spark に接続するには以下のコマンドを実行してビルドする必要があります:
# $SPARK_HOME/R/install-dev.sh
詳しくは $SPARK_HOME/R/README.md を見てください。$SPARK_HOME/R/DOCUMENTATION.md の手順に従うことでパッケージドキュメントもビルドできます。
sparkR R パッケージをビルドしたら /usr/bin/sparkR で接続することが可能です。