W&B Weave

• Tracer vos agents et collecter des métriques à leur sujet, qu’ils reposent sur des SDK ou des harness courants, grâce au SDK de Weave compatible OTel
• Instrumenter manuellement les appels LLM et des fonctions arbitraires de votre application afin de tracer, versionner et collecter du feedback sur votre application
• Évaluer les réponses de votre agent ou de votre application à l’aide de juges LLM et d’évaluateurs personnalisés

​

Premiers pas

​

Installer Weave

pip install weave

npm install weave

​

Limites et comportements attendus

• Pour les requêtes pouvant être relancées, Weave effectue une première nouvelle tentative 1 seconde après la réception de la première erreur, puis double le délai entre chaque tentative, jusqu’à un maximum de 5 minutes. Les requêtes expirent au bout de 36 heures.
• Au lieu de lever les exceptions, .call() capture les exceptions et les stocke dans call.exception. Si vous devez lever des exceptions pendant l’exécution, définissez le paramètre __should_raise, comme ceci :
  showLineNumbers

  # Ceci lève des exceptions
  result, call = foo.call(__should_raise=True)
  
• Les instances Weave dédiées utilisent une URL d’ingress OpenTelemetry différente. Pour plus d’informations sur les points de terminaison officiels, consultez Envoyer des traces OpenTelemetry.
• Weave tronque parfois les objets de données de trace volumineux. En effet, la sortie de trace par défaut est un objet Python personnalisé brut que Weave ne peut pas sérialiser automatiquement. Pour renvoyer l’intégralité de vos données de trace, définissez un dictionnaire de chaînes, comme ceci :
  import weave
  
  class MyObj:
      """Un objet doté d’un attribut de type chaîne volumineux."""
      def __init__(self, x: int):
          self.x = x
  
      def __repr__(self):
          return f"MyObj(x={self.x})"
  
      def to_dict(self):
          return {"x": self.x}
  
  @weave.op()
  def make_my_obj():
      x = "a" * 10_000
      return MyObj(x)
  
  def main():
      weave.init("<entity/project>")
  
      # Définir une opération traçable qui traite MyObj
      @weave.op()
      def process_obj(obj: MyObj) -> int:
          return len(obj.x)
  
      # Créer et traiter une instance volumineuse de MyObj
      large_obj = make_my_obj()
      length = process_obj(large_obj)
      print(f"Length of x in MyObj: {length}")
      print("dict:", large_obj.to_dict())
  
  if __name__ == "__main__":
      main()