Ollamaのソースを表示

[[Category:開発]]
[[Category:グラフィック]]
[[en:Ollama]]
[[zh-hans:Ollama]]
{{Related articles start}}
{{Related|GPGPU}}
{{Related|llama.cpp}}
{{Related|Vulkan}}
{{Related articles end}}

[https://ollama.com Ollama] は、オフラインの大規模言語モデルをローカルで実行できるアプリケーションです。

== インストール ==

{{Pkg|ollama}} パッケージを[[インストール]]してください。このパッケージはデーモン、コマンドラインツール、CPU 推論を提供します。

GPU 推論の場合:

* [[CUDA]] で推論するには {{Pkg|ollama-cuda}} をインストールしてください。
* [[ROCm]] で推論するには {{Pkg|ollama-rocm}} をインストールしてください。
* [[Vulkan]] で推論するには {{Pkg|ollama-vulkan}} をインストールしてください ([https://docs.ollama.com/gpu#vulkan-gpu-support 実験的])。

次に、{{ic|ollama.service}} を[[有効化/起動]]してください。その後、Ollama の状態を確認します:

 $ ollama --version

{{ic|Warning: could not connect to a running Ollama instance}} と表示される場合、Ollama サービスが実行されていません。それ以外の場合、Ollama サービスは実行中であり、ユーザーからのリクエストを受け付ける準備ができています。

次に、モデルを実行できることを確認します。以下のコマンドは、最新の [https://ollama.com/library/gemma3:270m Gemma 3 の 270M パラメータモデル] をダウンロードし、モデルと対話できる Ollama プロンプトを返します:

{{hc|$ ollama run gemma3:270m|
>>> Send a message (/? for help)
}}

== 使用方法 ==

Ollama の実行ファイルは検索インターフェイスを提供していません。{{ic|ollama search}} というコマンドは存在しません。モデルを検索するには、[https://ollama.com/search 検索ページ] にアクセスする必要があります。

モデルを実行するには:

 $ ollama run ''model''

モデルを停止するには:

 $ ollama stop ''model''

モデルを更新するには:

 $ ollama pull ''model''

モデルを削除するには:

 $ ollama rm ''model''

ローカルで利用可能なモデルを表示するには:

 $ ollama list

== トラブルシューティング ==

=== ROCm が AMD GPU を利用しない ===

Ollama セッション中に GPU の使用率を監視するために {{Pkg|amdgpu_top}} のようなユーティリティを使用したものの、GPU がまったく使われていないことに気づく場合があります。

設定を行わない場合、[[ROCm]] は単に未対応の GPU を無視し、すべての計算が CPU で行われます。

{{Note|対応 GPU については [https://rocm.docs.amd.com/projects/install-on-linux/en/latest/reference/system-requirements.html ROCm System Requirements] を参照して確認してください。}}

これを回避するには、{{ic|ollama.service}} の[[ドロップインファイル]]を作成します:

{{hc|/etc/systemd/system/ollama.service.d/override_gfx_version.conf|2=
[Service]
Environment="HSA_OVERRIDE_GFX_VERSION=X.Y.Z"
}}

ここで、{{ic|X.Y.Z}} はシステムに搭載されている GFX バージョンに依存します。

使用する GFX バージョンを決定するには、まず {{Pkg|rocminfo}} がすでにインストールされていることを確認してください。これは {{Pkg|rocblas}} の依存関係としてシステムに取り込まれているはずです。また、{{Pkg|rocblas}} 自体は {{Pkg|ollama-rocm}} の依存関係です。

次に、システムの実際の GFX バージョンを問い合わせます:

 $ /opt/rocm/bin/rocminfo | grep amdhsa

{{ic|gfx}} という語の後に表示される数字を覚えておく必要があります。これがシステムの実際の GFX バージョンです。数字は以下のように解釈されます:

* 数字が 4 桁の場合、{{ic|XX.Y.Z}} と解釈され、最初の 2 桁が {{ic|X}} の部分として解釈されます。
* 数字が 3 桁の場合、{{ic|X.Y.Z}} と解釈されます。

次に、インストール済みのすべての {{Pkg|rocblas}} カーネルを探します:

 $ find /opt/rocm/lib/rocblas/library -name 'Kernels.so-*'

{{ic|X.Y.Z}} には、そこで一覧表示された利用可能なバージョンのうち 1 つを設定する必要があります。ルールは以下のように要約できます:

# {{ic|X}} の部分は、実際のバージョンと厳密に一致していなければなりません。
# {{ic|Y}} の部分は、不一致が許されますが、実際のバージョン以下でなければなりません。
# {{ic|Z}} の部分は、不一致が許されますが、実際のバージョン以下でなければなりません。

正しい {{ic|X.Y.Z}} を設定した後、[[daemon-reload]] を実行し、{{ic|ollama.service}} を[[再起動]]してください。

その後、通常どおりモデルを実行します。必要であれば、もう一度 {{Pkg|amdgpu_top}} で GPU 使用率を監視してもよいでしょう。

=== Ollama をアンインストールしてもモデルが削除されない ===

モデルファイルは手動で削除できます。モデルファイルは {{ic|/var/lib/ollama/blobs}} に保存されています。

== 参照 ==

* [https://ollama.com/blog Ollama Blog]
* [https://docs.ollama.com Ollama Docs]