VERL

• 各ロールアウト軌跡を、プロンプト、モデル応答、ツール呼び出しを含めてステップごとに検査します。
• ステップ、サンプルインデックス、ロールアウト番号、実験名で軌跡をフィルターします。
• 複数の軌跡を並べて比較し、トレーニングステップ全体でのエージェント動作をデバッグします。

​

前提条件

• CoreWeave Forge アカウントと APIキー。
• ロールアウト トレースをサポートする VERL インストール。ロールアウト トレースは verl#2345 で追加されました。
• 非同期ロールアウト設定。トレースは非同期ロールアウトにのみ適用され、同期ロールアウトはトレースされません。

​

Weave トレースを有効にする

export WANDB_API_KEY=[YOUR-WANDB-API-KEY]

• actor_rollout_ref.rollout.trace.backend=weave: Weave をトレースバックエンドとして選択します。
• actor_rollout_ref.rollout.mode=async: vLLM または SGLang の非同期ロールアウトを有効にします。同期ロールアウトにはトレースの効果はありません。
• trainer.project_name: トレースとメトリクスをログする project を設定します。
• trainer.experiment_name: 実験の名を設定します。
• trainer.logger=['console','wandb']: Weave と並行して wandb ロガーを有効にし、メトリクスとトレースが同じ project に表示されるようにします。

python -m verl.trainer.main_ppo \
  actor_rollout_ref.rollout.trace.backend=weave \
  actor_rollout_ref.rollout.mode=async \
  trainer.project_name=[YOUR-PROJECT-NAME] \
  trainer.experiment_name=[YOUR-EXPERIMENT-NAME] \
  trainer.logger=['console','wandb'] \
  # ... その他のトレーニングフラグ

​

トレース量を調整する

• max_samples_per_step_per_worker: トレーニングステップごとにワーカーがトレースする一意のサンプル数。すべてのサンプルをトレースする場合のデフォルトは null です。
• token2text: True に設定すると、デコードされた prompt_text と response_text を ToolAgentLoop.run の出力に追加します。パフォーマンスのためのデフォルトは False です。Weights & Biases UI で直接プロンプトと完了を確認したい場合に有効にしてください。

actor_rollout_ref:
  rollout:
    trace:
      backend: weave
      token2text: False
      max_samples_per_step_per_worker: 5

​

トレースを表示

​

追加の関数をトレースする

• rollout_trace_op: weave.op にマッピングされるデコレーターで、クラスインスタンス上のメソッドをトレース対象としてマークします。デフォルトでは少数のメソッドのみが装飾されています。カスタムエージェントループやツール実装のメソッドにこのデコレーターを追加して、より詳細な情報を取得できます。
• rollout_trace_attr: 軌跡のエントリをマークし、軌跡のメタデータ (サンプルインデックス、ステップ、ロールアウト番号、実験名) をアタッチするコンテキストマネージャーです。新しいエージェントタイプを導入する場合、その軌跡エントリポイントを rollout_trace_attr でラップして、トレースが run に関連付けられるようにしてください。