Skip to main content
このページでは、Serverless Inferenceで独自のカスタムLoRA アダプターを提供する方法について説明します。サポートされるベースモデルのファインチューニングしたモデルをインフラストラクチャーを管理せずにデプロイしたい開発者やML実践者を対象としています。 LoRA アダプター (Low-Rank Adaptation) を使用すると、完全な新しいモデルではなく軽量なアドオンをトレーニングおよび保存するだけで、大規模言語モデルをカスタマイズできます。これにより、カスタマイズのサイズとコストが削減されます。 LoRA アダプターをトレーニングするまたはアップロードして、ベースモデルに新しい機能を追加できます。たとえば、カスタマーサポート、クリエイティブライティング、または特定の技術分野に特化させることができます。これにより、モデル全体を再トレーニングまたは再デプロイせずに、モデルの動作を適応させることができます。

​
LoRA アダプターに Serverless Inference を使用する理由

LoRA アダプター向けの Serverless Inference には、次の利点があります。
  • 一度アップロードすれば、サーバーを管理せずにデプロイできます。
  • アーティファクトのバージョン管理により、稼働中のバージョンをトラッキングできます。
  • モデルの重み全体ではなく、小さな LoRA アダプターのファイルを差し替えることでモデルを更新できます。

​
ワークフロー

大まかには、カスタム LoRA アダプターをサーブするには 3 つのステップがあります：
  1. LoRA アダプターの重みを Weights & Biases アーティファクトとしてアップロードします。
  2. アーティファクトの URI を API のモデル名として指定します。
  3. CoreWeave は推論のために重みを動的にロードします。
以下の例は、Serverless Inference を使用して カスタム LoRA アダプターモデルを呼び出す方法を示しています。プレースホルダーの値は、ご自身の APIキー、チーム、project に置き換えてください。以下のセクションでは、ここで参照されている LoRA アダプターをアップロードまたはトレーニングする方法について説明します。
この Getting Started ノートブック を参照して、LoRA アダプターを作成し、Weights & Biases にアーティファクトとしてアップロードする方法のインタラクティブなデモンストレーションをご覧ください。

​
前提条件

以下が必要です。

​
LoRA アダプターを追加して使用する

以下の方法で、CoreWeave Forge アカウントに LoRA アダプターを追加して使い始めることができます。LoRA アダプターをトレーニングした場所に応じて、該当するタブを選択してください。
独自のカスタム LoRA アダプターのディレクトリを、Weights & Biases のアーティファクトとしてアップロードします。LoRA アダプターを他の場所 (ローカル環境、クラウドプロバイダー、パートナーサービスなど) でトレーニングした場合は、この方法を使用します。次の Python コードは、ローカルに保存されている LoRA アダプターの重みを、バージョン管理されたアーティファクトとして Weights & Biases にアップロードします。必須のメタデータ (ベースモデルとストレージリージョン) を含む lora タイプのアーティファクトを作成し、ローカルディレクトリから LoRA アダプターのファイルを追加したうえで、推論で使用できるように Weights & Biases の project にログします。

​
既存の LoRA アダプターを使用するための主な要件

独自の LoRA アダプターを Serverless Inference で使用するには、次の要件を満たしていることを確認してください。
  • LoRA アダプターが、サポートされるベースモデルセクションに記載されているいずれかのモデルでトレーニングされていること。
  • LoRA アダプターの rank が、サポートされるベースモデルの表に記載されている、対応するベースモデルの 最大 LoRA アダプター rank 以下であること。
  • LoRA アダプターが PEFT 形式で保存され、CoreWeave Forge アカウント内に lora タイプのアーティファクトとして存在すること。
  • 低レイテンシーを実現するため、LoRA アダプターが storage_region="coreweave-us" に保存されていること。
  • アップロード時に、トレーニングに使用したベースモデルの名前 (例: meta-llama/Llama-3.1-8B-Instruct) を含めること。これにより、Serverless Inference が正しいモデルで LoRA アダプターを読み込めるようになります。
いずれの方法を使用した場合でも、LoRA アダプターをアーティファクトとして project に追加すれば、その URI をモデル名として渡すことで、任意の推論 Call から参照できます。

​
サポートされるベースモデル

LoRA アダプターは、次のいずれかのベースモデルに対してトレーニングされている必要があります。推論時に Serverless Inference がアダプターを正しいベースモデルと組み合わせられるように、wandb.base_model を設定する際は正確なモデル ID の文字列を使用してください。 最大 LoRA アダプター rank 列は、Serverless Inference が各ベースモデルで読み込めるアダプターの最大サイズを示します。この値は、他の環境でトレーニングしてアップロードするアダプターに適用される上限であり、トレーニングの設定項目ではありません。Serverless SFT および Serverless RL で作成されたアダプターは固定の rank を使用し、この上限を超えることはありません。詳細は LoRA rank と alpha を参照してください。

​
料金

常時稼働するサーバーや専用クラウド GPU インスタンスではなく、ストレージと実行した推論に対してのみ料金が発生します。料金は次の 2 つの要素で構成されます。
  • ストレージ: LoRA アダプターの重みを保存するストレージに対して課金されます。
  • Serverless Inference の使用量: LoRA アダプターのアーティファクトを使用する Call は、標準のモデル推論と同じ料金で課金されます。
最終更新日 2026年10月14日