> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 独自の LoRA アダプターを使用する

> Bring your own custom LoRA for serving fine-tuned models on Serverless Inference.


このページでは、Serverless Inferenceで独自のカスタムLoRA アダプターを提供する方法について説明します。サポートされるベースモデルのファインチューニングしたモデルをインフラストラクチャーを管理せずにデプロイしたい開発者やML実践者を対象としています。

LoRA アダプター (Low-Rank Adaptation) を使用すると、完全な新しいモデルではなく軽量なアドオンをトレーニングおよび保存するだけで、大規模言語モデルをカスタマイズできます。これにより、カスタマイズのサイズとコストが削減されます。

LoRA アダプターをトレーニングするまたはアップロードして、ベースモデルに新しい機能を追加できます。たとえば、カスタマーサポート、クリエイティブライティング、または特定の技術分野に特化させることができます。これにより、モデル全体を再トレーニングまたは再デプロイせずに、モデルの動作を適応させることができます。

## LoRA アダプターに Serverless Inference を使用する理由

LoRA アダプター向けの Serverless Inference には、次の利点があります。

* 一度アップロードすれば、サーバーを管理せずにデプロイできます。
* アーティファクトのバージョン管理により、稼働中のバージョンをトラッキングできます。
* モデルの重み全体ではなく、小さな LoRA アダプターのファイルを差し替えることでモデルを更新できます。

## ワークフロー

大まかには、カスタム LoRA アダプターをサーブするには 3 つのステップがあります：

1. LoRA アダプターの重みを Weights & Biases アーティファクトとしてアップロードします。
2. アーティファクトの URI を API のモデル名として指定します。
3. CoreWeave は推論のために重みを動的にロードします。

以下の例は、Serverless Inference を使用して カスタム LoRA アダプターモデルを呼び出す方法を示しています。プレースホルダーの値は、ご自身の APIキー、チーム、project に置き換えてください。以下のセクションでは、ここで参照されている LoRA アダプターをアップロードまたはトレーニングする方法について説明します。

```python theme={"system"}
from openai import OpenAI

model_name = "wandb-artifact:///[YOUR-TEAM]/[YOUR-PROJECT]/qwen_lora:latest"

client = OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="[YOUR-API-KEY]",
    project="[YOUR-TEAM]/[YOUR-PROJECT]",
)

resp = client.chat.completions.create(
    model=model_name,
    messages=[{"role": "user", "content": "Say 'Hello World!'"}],
)
print(resp.choices[0].message.content)
```

この [Getting Started ノートブック](https://wandb.me/lora_nb) を参照して、LoRA アダプターを作成し、Weights & Biases にアーティファクトとしてアップロードする方法のインタラクティブなデモンストレーションをご覧ください。

## 前提条件

以下が必要です。

* [CoreWeave Forge APIキー](https://docs.coreweave.com/ja/products/wandb/integrations/add-wandb-to-any-library.md#create-an-api-key)。
* [Weights & Biases project](https://docs.coreweave.com/ja/products/wandb/track/project-page.md)。
* `openai` および `wandb` パッケージがインストールされた Python 3.8 以降: `pip install wandb openai`。

## LoRA アダプターを追加して使用する

以下の方法で、CoreWeave Forge アカウントに LoRA アダプターを追加して使い始めることができます。LoRA アダプターをトレーニングした場所に応じて、該当するタブを選択してください。

> [tab] 他の場所でトレーニングした LoRA アダプターをアップロードする
>
> 独自のカスタム LoRA アダプターのディレクトリを、Weights & Biases のアーティファクトとしてアップロードします。LoRA アダプターを他の場所 (ローカル環境、クラウドプロバイダー、パートナーサービスなど) でトレーニングした場合は、この方法を使用します。
>
> 次の Python コードは、ローカルに保存されている LoRA アダプターの重みを、バージョン管理されたアーティファクトとして Weights & Biases にアップロードします。必須のメタデータ (ベースモデルとストレージリージョン) を含む `lora` タイプのアーティファクトを作成し、ローカルディレクトリから LoRA アダプターのファイルを追加したうえで、推論で使用できるように Weights & Biases の project にログします。
>
> ```python theme={"system"}
> import wandb
>
> run = wandb.init(entity="[YOUR-TEAM]", project="[YOUR-PROJECT]")
>
> artifact = wandb.Artifact(
>     "qwen_lora",
>     type="lora",
>     metadata={"wandb.base_model": "OpenPipe/Qwen3-14B-Instruct"},
>     storage_region="coreweave-us",
> )
>
> artifact.add_dir("[PATH-TO-LORA-WEIGHTS]")
> run.log_artifact(artifact)
> ```
>
> ### 既存の LoRA アダプターを使用するための主な要件
>
> 独自の LoRA アダプターを Serverless Inference で使用するには、次の要件を満たしていることを確認してください。
>
> * LoRA アダプターが、[サポートされるベースモデル](#supported-base-models)セクションに記載されているいずれかのモデルでトレーニングされていること。
> * LoRA アダプターの rank が、[サポートされるベースモデル](#supported-base-models)の表に記載されている、対応するベースモデルの **最大 LoRA アダプター rank** 以下であること。
> * LoRA アダプターが PEFT 形式で保存され、CoreWeave Forge アカウント内に `lora` タイプのアーティファクトとして存在すること。
> * 低レイテンシーを実現するため、LoRA アダプターが `storage_region="coreweave-us"` に保存されていること。
> * アップロード時に、トレーニングに使用したベースモデルの名前 (例: `meta-llama/Llama-3.1-8B-Instruct`) を含めること。これにより、Serverless Inference が正しいモデルで LoRA アダプターを読み込めるようになります。

> [tab] Serverless RL で新しい LoRA アダプターをトレーニングする
>
> [Serverless RL](https://docs.coreweave.com/ja/products/post-training/serverless-training.md) で新しい LoRA アダプターをトレーニングします。トレーニングした LoRA アダプターは自動的に Weights and Biases のアーティファクトになるため、そのまま使用できます。
>
> 独自の LoRA アダプターをトレーニングする方法の詳細については、[OpenPipe の ART クイックスタート](https://art.openpipe.ai/getting-started/quick-start)を参照してください。
>
> トレーニングが完了すると、LoRA アダプターは自動的にアーティファクトとして利用できるようになります。

> [tab] 教師ありファインチューニングで新しい LoRA アダプターをトレーニングする
>
> [ファインチューニング済みの LoRA アダプターの作成](https://docs.coreweave.com/ja/products/inference/serverless/tutorials/creating-lora.md)チュートリアルの手順に従い、TRL ライブラリを使用した教師ありファインチューニング (SFT) でベースモデルをファインチューニングして、その結果をアーティファクトとして Weights & Biases にアップロードします。

いずれの方法を使用した場合でも、LoRA アダプターをアーティファクトとして project に追加すれば、その URI をモデル名として渡すことで、任意の推論 Call から参照できます。

```python theme={"system"}
# トレーニングが完了したら、アーティファクトをそのまま使用できます
model_name = "wandb-artifact:///[YOUR-TEAM]/[YOUR-PROJECT]/your_trained_lora:latest"
```

## サポートされるベースモデル

LoRA アダプターは、次のいずれかのベースモデルに対してトレーニングされている必要があります。推論時に Serverless Inference がアダプターを正しいベースモデルと組み合わせられるように、`wandb.base_model` を設定する際は正確なモデル ID の文字列を使用してください。

**最大 LoRA アダプター rank** 列は、Serverless Inference が各ベースモデルで読み込めるアダプターの最大サイズを示します。この値は、他の環境でトレーニングしてアップロードするアダプターに適用される上限であり、トレーニングの設定項目ではありません。Serverless SFT および Serverless RL で作成されたアダプターは固定の rank を使用し、この上限を超えることはありません。詳細は [LoRA rank と alpha](https://docs.coreweave.com/ja/products/post-training/serverless-training/available-models.md#lora-rank-and-alpha) を参照してください。

| モデル ID (API で使用) | 最大 LoRA アダプター rank |
| - | - |
| `google/gemma-4-26B-A4B-it` | 16 |
| `meta-llama/Llama-3.1-8B-Instruct` | 16 |
| `nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B` | 16 |
| `Qwen/Qwen3.8-27B` | 16 |
| `Qwen/Qwen3.6-35B-A3B` | 16 |

## 料金

常時稼働するサーバーや専用クラウド GPU インスタンスではなく、ストレージと実行した推論に対してのみ料金が発生します。料金は次の 2 つの要素で構成されます。

* [**ストレージ**](https://coreweave.com/forge-pricing): LoRA アダプターの重みを保存するストレージに対して課金されます。
* **Serverless Inference の使用量**: LoRA アダプターのアーティファクトを使用する Call は、[標準のモデル推論](https://docs.coreweave.com/ja/products/inference/serverless/usage-limits.md#account-tiers-and-default-usage-caps)と同じ料金で課金されます。
