> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# ローカルモデル

> Ollama、LMStudio、GPT4All を使用してオープンソースモデルをローカルで実行し、OpenAI SDK との互換性を利用して Weave でトレースします。

多くの開発者は、Llama 3、Mixtral、Gemma、Phi などのオープンソースモデルを自身のハードウェアで実行しています。Weave は、OpenAI SDK との互換性があれば、複数のローカルモデルランナーをデフォルトでサポートします。

このガイドでは、ローカルでホストするモデルへの Call を Weave でトレースし、ホスト型の LLM プロバイダの場合と同様に、入力、出力、メタデータを取得する方法を説明します。自身のマシンでオープンソースモデルを実行し、その Call の可観測性を確保したい開発者を対象としています。

<h2 id="wrap-local-model-functions-with-weaveop">
  `@weave.op()` でローカルモデルの関数をラップする
</h2>

ローカルモデルに OpenAI 互換のランナー経由でアクセスしていない場合でも、モデルを呼び出す独自の関数をラップすることでトレースを取得できます。`weave.init('<your-project-name>')` で Weave を初期化し、LLM への Call を `weave.op()` でラップすることで、任意の LLM と Weave を統合できます。詳細については、[トレースガイド](/ja/products/wandb/weave/guides/tracking/tracing)を参照してください。

<h2 id="update-your-openai-sdk-code-to-use-local-models">
  OpenAI SDK コードをローカルモデルを使用するように更新する
</h2>

ローカルモデルランナーが OpenAI SDK をサポートする場合、既存の OpenAI クライアントを 2 つの変更でローカルモデルランナーに向けることができます。

主な変更は、`openai.OpenAI()` の初期化時の `base_url` パラメーターです。これにより、OpenAI SDK は OpenAI がホストする API ではなく、ローカルサーバーにリクエストを送信するようになります。

```python lines theme={"system"}
client = openai.OpenAI(
    base_url="http://localhost:1234",
)
```

ローカルのモデルでは、`api_key` は任意の string にできますが、必ず上書きする必要があります。そうしないと、OpenAI SDK が環境変数から読み取ってエラーを表示します。

<h2 id="supported-local-model-runners">
  サポートされるローカルモデルランナー
</h2>

以下のランナーを使用すると、Hugging Face からモデルをコンピューターにダウンロードして実行できます。各ランナーは OpenAI 互換のエンドポイントを公開しており、前述の変更を適用すれば、OpenAI SDK の接続先として指定できます。

* Nomic [GPT4All](https://www.nomic.ai/gpt4all) - 設定の Local Server を通じてサポート ([FAQ](https://docs.gpt4all.io/gpt4all_help/faq.html))
* [LMStudio](https://lmstudio.ai/) - Local Server の OpenAI SDK サポートに関する[ドキュメント](https://lmstudio.ai/docs/developer/core/server)
* [Ollama](https://ollama.com/) - OpenAI SDK 向けの [OpenAI 互換性](https://ollama.readthedocs.io/en/openai/)
* [llama-cpp-python](https://llama-cpp-python.readthedocs.io/en/latest/server/) - OpenAI SDK をサポートし、`llama.cpp` を実行するための Python パッケージ
* [llamafile](https://github.com/Mozilla-Ocho/llamafile#other-example-llamafiles) - Llamafile を実行すると、`http://localhost:8080/v1` で OpenAI SDK が自動的にサポートされます


## Related topics

- [プレイグラウンド を使用してプロンプトを試す](/ja/products/wandb/weave/guides/tools/playground.md)