W&B Weave

• Weave OTel 호환 SDK를 사용하여 널리 쓰이는 SDK와 하니스로 구축한 에이전트를 트레이스하고 메트릭을 수집합니다.
• 애플리케이션의 LLM Call과 임의의 함수를 수동으로 계측하여 애플리케이션을 트레이스하고, 버전을 관리하고, 피드백을 수집합니다.
• LLM 평가자와 맞춤형 Scorer를 사용하여 에이전트나 애플리케이션의 응답을 평가합니다.

​

시작하기

​

Weave 설치

pip install weave

npm install weave

​

제한 사항 및 예상 동작

• 재시도 가능한 요청의 경우, Weave는 첫 번째 오류를 받고 1초 뒤부터 요청을 재시도하며, 이후 시도 간격을 최대 5분까지 두 배씩 늘립니다. 요청은 36시간이 지나면 timeout됩니다.
• .call()은 예외를 발생시키지 않고, 예외를 캡처하여 call.exception에 저장합니다. 실행 중에 예외를 발생시켜야 한다면 다음과 같이 __should_raise 매개변수를 설정하세요.
  showLineNumbers

  # 예외를 발생시킵니다
  result, call = foo.call(__should_raise=True)
  
• Dedicated Weave 인스턴스는 별도의 OpenTelemetry ingress URL을 사용합니다. 공식 엔드포인트에 대한 자세한 내용은 OpenTelemetry 트레이스 보내기를 참조하세요.
• Weave는 대용량 트레이스 데이터 객체를 잘라낼 때가 있습니다. 기본 트레이스 출력이 Weave가 자동으로 직렬화할 수 없는 원시(raw) 맞춤형 Python 객체이기 때문입니다. 트레이스 데이터 전체를 반환하려면 다음과 같이 문자열 딕셔너리를 정의하세요.
  import weave
  
  class MyObj:
      """An object with a large string attribute."""
      def __init__(self, x: int):
          self.x = x
  
      def __repr__(self):
          return f"MyObj(x={self.x})"
  
      def to_dict(self):
          return {"x": self.x}
  
  @weave.op()
  def make_my_obj():
      x = "a" * 10_000
      return MyObj(x)
  
  def main():
      weave.init("<entity/project>")
  
      # MyObj를 처리하는 트레이스 가능한 오퍼레이션을 정의합니다
      @weave.op()
      def process_obj(obj: MyObj) -> int:
          return len(obj.x)
  
      # 대용량 MyObj 인스턴스를 생성하고 처리합니다
      large_obj = make_my_obj()
      length = process_obj(large_obj)
      print(f"Length of x in MyObj: {length}")
      print("dict:", large_obj.to_dict())
  
  if __name__ == "__main__":
      main()