最初のモデルをトレーニングする
UI でデータセット、ベースモデル、トレーニング設定を選択します。
サポートされるベースモデル
利用可能なモデルとモデル選択のガイダンスについては、サポートされるトレーニングモデルを参照してください。モデルが新しいトレーニング run で利用できなくなった後も、既存のファインチューンのベースモデルは UI に表示される場合があります。ファインチューンを作成する
次の項目を選択します。- トレーニング行を含む、準備完了状態のデータセット。
- 元の出力、または完了したリラベル run。
- ベースモデル。
- ファインチューン名 (オプション)。
- トレーニングパラメーター (オプション)。
トレーニングパラメーター
詳細設定は、以下の項目を制御する必要がある場合にのみ開いてください。
ピーク学習率をスカラー値で指定すると、Model Distillation は ART SFT ヘルパーと同じスケジュール (10% の線形ウォームアップの後、ゼロまで線形に減衰) を生成します。全ステップ分のリストを指定した場合は、その値がそのまま使用されます。
ステータスとアーティファクト
ファインチューンのステータスは Queued、Training、Deployed、Failed と遷移します。トレーニングの進行状況は 0 ~ 100% で表示されます。デプロイされたモデルには正確な W&B アーティファクト参照が含まれ、評価やルーティングのためにwandb-inference からすぐに選択できます。
失敗したファインチューンには、失敗した箇所に応じて、ステータスの横に Retry または Create new model のいずれかの action が表示されます。
準備中、トレーニング ジョブの監視中、結果の記録中など、Model Distillation パイプライン自体で失敗した場合は、Retry を選択します。再試行の動作は、失敗時点でファインチューンがどこまで進んでいたかによって異なります。
- トレーニング モデルがまだ作成されていない場合、再試行すると準備が最初からやり直されます。
- 確定済みのトレーニング ジョブが存在する場合、再試行すると新しい認証情報でジョブが再開されます。完了済みのエポックは保持され、残りのエポックのみがトレーニングされます。
- トレーニング モデルは存在するものの、確定済みの送信を復元できない場合、再試行は
409 Conflictを返します。この場合は、新しいファインチューンを作成してください。
training_failure_type が RemoteTrainingFailed に設定され、再試行するとタイプ remote_training_failed の 409 Conflict が返されます。また、次のいずれかに該当する場合も、再試行は 409 Conflict を返します。
- ファインチューンが失敗状態ではない場合。
- 準備をやり直す再試行で、ファインチューンの作成後にデータセットが変更されたことが検出された場合。
- トレーニング モデルは存在するものの、確定済みの送信を復元できない場合。
ファインチューンを削除する
ファインチューンを削除すると、トレーニング モデル、関連する W&B アーティファクト、生成された出力、および UI 上のレコードが削除されます。複数のファインチューンで共有されているトレーニング モデルは、そのモデルを所有する最後のファインチューンを削除した時点で削除されます。 Model Distillation は、評価の比較セットからそのファインチューンを除外し、そのファインチューンを正解データとして使用している評価を削除します。そのファインチューンをプライマリ参加者とするヘッドツーヘッド評価では、Model Distillation は残りの参加者のうち最も古いものをプロモートし、その評価を古い状態としてマークします。実行中の評価がある場合は削除できません。 UI でファインチューンを削除するには、次の手順を実行します。- ファインチューンのページを開きます。
- Danger Zone で Delete Fine Tune を選択します。
- ダイアログで影響を受ける評価を確認し、確認のためにモデル名を入力します。
- Delete を選択します。
API: ファインチューンを削除する (DELETE /tasks/{alias}/finetunes/{finetuneId})
API: ファインチューンを削除する (DELETE /tasks/{alias}/finetunes/{finetuneId})
削除に必要なリクエストは 1 つだけで、影響を受ける評価とブロック要因はサーバー側で判断されます。このリクエストは、削除操作とそのステータスを含む
202 Accepted を返します。操作がキューに追加済み、実行中、または完了済みの状態でリクエストを繰り返すと、同じ操作が返されます。また、リクエストを繰り返すと、元のリクエストで記録されたスコープの範囲内で、失敗したクリーンアップも再試行されます。ファインチューンがすでに存在せず、操作も存在しない場合、リクエストは 204 No Content を返し、そのファインチューンに対する GET は 404 Not Found を返します。ファインチューンを削除する前に、影響を受ける評価とブロック要因をプレビューするには、GET /tasks/{alias}/finetunes/{finetuneId}/deletion-plan を呼び出します。このプレビューは参考情報を提供するもので、実行中の削除のステータスも確認できます。Delete a fine-tune および Preview fine-tune deletion を参照してください。API: トレーニング ジョブとアーティファクトを一覧表示する (GET /tasks/{alias}/finetunes)
API: トレーニング ジョブとアーティファクトを一覧表示する (GET /tasks/{alias}/finetunes)
進行状況、最終ステータス、および評価とルーティングで使用されるアーティファクト参照を確認するには、次のリクエストを使用します。ジョブを開始するには、ファインチューニング クイックスタート のリクエストを使用します。この操作の詳細については、List fine-tunes を参照してください。