料金
料金は、推論、トレーニング、ストレージの 3 つの要素で構成されます。具体的な料金レートについては、料金ページをご覧ください。以下のセクションでは、各要素について説明します。推論
Serverless Training の推論リクエストの料金は、Serverless Inference の料金と同じです。モデルごとのコストをご確認ください。クレジットの購入、アカウントティア、使用量の上限について詳しくは、Serverless Inference のドキュメントを参照してください。トレーニング
各トレーニングステップで、Serverless Training は、エージェントの出力とそれに対応する報酬 (報酬関数で算出) を含む軌跡をバッチ単位で収集します。Serverless Training は、このバッチ化された軌跡を使用して、ベースモデルをタスクに特化させる LoRA アダプターの重みを更新します。LoRA アダプターを更新するトレーニング ジョブは、Serverless Training が管理する専用の GPU クラスター上で実行されます。 パブリックプレビュー期間中は、トレーニングを無料でご利用いただけます。モデルストレージ
Serverless Training はトレーニング済みの LoRA アダプターのチェックポイントを保存するため、いつでも評価やサービングを行ったり、トレーニングを再開したりできます。ストレージ料金は、チェックポイントの合計サイズとご利用の料金プランに基づいて、W&B から毎月請求されます。すべてのプランに 5 GB 以上の無料ストレージが含まれており、LoRA アダプター約 30 個分に相当します。容量を節約するには、パフォーマンスの低い LoRA アダプターを削除してください。手順については ART SDK を参照してください。制限
Serverless Training の使用には、以下の制限が適用されます。ワークロードのサイジングを行う際や、新しいリージョンからサービスを使用する予定がある場合は、これらの制限を確認してください。-
推論の同時実行制限: デフォルトでは、Serverless Training はユーザーあたり最大 2,000 件、project あたり最大 6,000 件の同時リクエストをサポートします。レート制限を超えると、Inference API は
429 Concurrency limit reached for requests応答を返します。このエラーを回避するには、トレーニング ジョブまたは本番ワークロードから同時に送信するリクエストの数を減らしてください。レート制限の引き上げが必要な場合は、forge-support@coreweave.com までご依頼ください。 - 地理的制限: Serverless Training は、サポート対象の地域でのみ利用できます。詳細については、利用規約を参照してください。