W&B Weave

• Weave の OTel 互換 SDK を使用して、一般的な SDK やハーネスで構築したエージェントをトレースし、メトリクスを収集する
• アプリケーションの LLM Call や任意の関数を手動でインストルメントし、アプリケーションのトレース、バージョン管理、フィードバック収集を行う
• LLM ジャッジモデルやカスタム Scorer を使用して、エージェントやアプリケーションの応答を評価する

​

はじめに

​

Weave のインストール

pip install weave

npm install weave

​

制限と想定される動作

• 再試行可能なリクエストの場合、Weave は最初のエラーを受け取ってから 1 秒後に再試行を開始し、以降は試行間隔を最大 5 分まで倍々に延ばします。リクエストは 36 時間後にタイムアウトします。
• .call() は例外を送出せず、例外を取得して call.exception に保存します。実行中に例外を送出する必要がある場合は、次のように __should_raise パラメーター を設定します。
  showLineNumbers

  # これにより例外が送出されます
  result, call = foo.call(__should_raise=True)
  
• 専用クラウドの Weave インスタンスでは、別の OpenTelemetry イングレス URL を使用します。正式なエンドポイントの詳細については、OpenTelemetry トレースを送信する を参照してください。
• Weave は、大きなトレースデータオブジェクトを切り詰めることがあります。これは、デフォルトのトレース出力が、Weave では自動的にシリアライズできない未加工のカスタム Python オブジェクトであるためです。トレースデータをすべて返すには、次のように strings の辞書を定義します。
  import weave
  
  class MyObj:
      """An object with a large string attribute."""
      def __init__(self, x: int):
          self.x = x
  
      def __repr__(self):
          return f"MyObj(x={self.x})"
  
      def to_dict(self):
          return {"x": self.x}
  
  @weave.op()
  def make_my_obj():
      x = "a" * 10_000
      return MyObj(x)
  
  def main():
      weave.init("<entity/project>")
  
      # MyObj を処理するトレース可能な操作を定義します
      @weave.op()
      def process_obj(obj: MyObj) -> int:
          return len(obj.x)
  
      # 大きな MyObj インスタンスを作成して処理します
      large_obj = make_my_obj()
      length = process_obj(large_obj)
      print(f"Length of x in MyObj: {length}")
      print("dict:", large_obj.to_dict())
  
  if __name__ == "__main__":
      main()