Inference サービスにアクセスする
以下のセクションでは、Inference サービスにアクセスする 3 つの方法を説明します。現在のワークフローに最も適した方法を選択してください。直接リンク
https://forge.coreweave.com/inference にアクセスします。Inference タブから
- Forge で W&B アカウントにアクセスします。
- プロジェクトのサイドバーから Inference を選択します。利用可能なモデルとその情報を一覧表示するページが開きます。
Playground タブから
- プロジェクトのサイドバーから Playground を選択します。Playground のチャット UI が表示されます。
- LLM ドロップダウンリストで Serverless Inference にカーソルを合わせます。右側に利用可能なモデルのドロップダウンが表示されます。
- モデルのドロップダウンでは、次の操作を行えます。
- 任意のモデル名をクリックして、Playground で試す。
- 複数のモデルを比較する
プレイグラウンドでモデルを試す
モデルを選択したら、他の環境に統合する前にプレイグラウンドでテストし、応答を評価したり動作を調整したりできます。実行できる操作は次のとおりです。複数のモデルを比較する
Playground では、Inference モデルを並べて比較し、同じプロンプトに対する品質、レイテンシー、出力スタイルを評価できます。Compare ビューには 2 か所からアクセスできます。それぞれ以下のセクションで説明します。Inference タブから
- プロジェクトのサイドバーから Inference を選択します。利用可能なモデルのページが表示されます。
- モデルカード上の任意の場所 (モデル名以外) をクリックして選択します。選択したカードはハイライト表示されます。
- 比較するモデルごとに同じ操作を繰り返します。
- 選択したいずれかのカードで Compare [N] models in the Playground をクリックします (
[N]は選択したモデルの数です) 。Comparison ビューが開きます。
Playground タブから
- プロジェクトのサイドバーから Playground を選択します。Playground のチャット UI が表示されます。
- LLM ドロップダウンリストで Serverless Inference にカーソルを合わせます。右側にモデルのドロップダウンが表示されます。
- ドロップダウンから Compare を選択します。Inference タブが表示されます。
- モデルカード上の任意の場所 (モデル名以外) をクリックして選択します。選択されたカードは強調表示されます。
- 比較するモデルごとに、同じ操作を繰り返します。
- 選択したいずれかのカードで Compare [N] models in the Playground をクリックします。Comparison ビューが開きます。
請求と使用状況の情報を表示する
組織管理者は、W&B UI でクレジット残高、使用量の履歴、今後の請求をトラッキングできます。このビューで支出を監視し、今後の請求額を予測できます。- W&B UI の Billing ページにアクセスします。
- Inference の請求情報カードを見つけます。
- ここでは次の操作を行えます。
- View usage をクリックして、使用量の推移を確認する。
- 今後の推論料金を確認する (有料プランの場合) 。