Anthropic - CoreWeave Docs

Lorsque vous intégrez Weave à votre code, il suit et consigne automatiquement les appels LLM effectués avec le SDK Anthropic, en Python comme en TypeScript. Pour ce faire, Weave invoque automatiquement la méthode Messages.create() d’Anthropic. Ce guide vous montre comment capturer les traces, encapsuler vos propres fonctions sous forme d’ops, créer un Model réutilisable pour vos expérimentations et suivre l’utilisation d’outils lorsque vous travaillez avec le SDK Anthropic. Appliquez ces approches pour déboguer, comparer et améliorer par itérations vos applications basées sur Claude, sans écrire de code de journalisation personnalisé.

Traces

Weave capture automatiquement les traces du SDK Anthropic dès que vous ajoutez weave.init("your-team-name/your-project-name") à votre code. Si vous ne passez pas de nom d’équipe en argument de weave.init(), Weave journalise la sortie dans votre entity W&B par défaut. Si vous ne spécifiez pas de nom de projet, l’initialisation de Weave échoue. Les exemples suivants montrent comment intégrer Weave à un appel de base à Anthropic :

Python
TypeScript

import weave    
# utilisez la bibliothèque anthropic comme d'habitude
import os
from anthropic import Anthropic

weave.init("anthropic_project")

client = Anthropic(
    api_key=os.environ.get("ANTHROPIC_API_KEY"),
)

message = client.messages.create(
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "Tell me a joke about a dog",
        }
    ],
    model="claude-3-opus-20240229",
)
print(message.content)

import Anthropic from '@anthropic-ai/sdk';
import * as weave from 'weave';
import { wrapAnthropic } from 'weave';

await weave.init('anthropic_project');

// Encapsuler le client Anthropic pour activer le traçage
const client = wrapAnthropic(new Anthropic());

const message = await client.messages.create({
    max_tokens: 1024,
    messages: [
        {
            role: 'user',
            content: 'Tell me a joke about a dog',
        }
    ],
    model: 'claude-3-opus-20240229',
});

console.log(message.content);

Lorsque vous incluez weave.init() dans votre code, Weave capture automatiquement les informations de traçage et affiche des liens. Cliquez sur ces liens pour consulter les traces dans l’interface Weights & Biases.

Encapsuler avec vos propres ops

Si weave.init() suffit à capturer les appels au SDK Anthropic, décorer vos propres fonctions avec des ops vous permet d’obtenir des traces plus riches, qui incluent la logique de votre application autour de chaque appel de modèle. Les ops Weave versionnent automatiquement votre code au fil de vos expériences et capturent ses entrées et ses sorties. Décorez une fonction avec @weave.op() en Python, ou encapsulez-la avec weave.op() en TypeScript, pour appeler Anthropic.messages.create(): Weave suit alors les entrées et les sorties à votre place. Les exemples suivants montrent comment suivre une fonction :

Python
TypeScript

import weave
import os
from anthropic import Anthropic

weave.init("anthropic_project")
client = Anthropic(
    api_key=os.environ.get("ANTHROPIC_API_KEY"),
)

@weave.op()
def call_anthropic(user_input:str, model:str) -> str:
    message = client.messages.create(
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": user_input,
        }
        ],
        model=model,
    )
    return message.content[0].text

@weave.op()
def generate_joke(topic: str) -> str:
    return call_anthropic(f"Tell me a joke about {topic}", model="claude-3-haiku-20240307")

print(generate_joke("chickens"))
print(generate_joke("cars"))

import Anthropic from '@anthropic-ai/sdk';
import * as weave from 'weave';
import { wrapAnthropic } from 'weave';

await weave.init('anthropic_project');
const client = wrapAnthropic(new Anthropic());

const callAnthropic = weave.op(async function callAnthropic(
    userInput: string,
    model: string
): Promise<string> {
    const message = await client.messages.create({
        max_tokens: 1024,
        messages: [
            {
                role: 'user',
                content: userInput,
            }
        ],
        model: model,
    });
    const content = message.content[0];
    return content.type === 'text' ? content.text : '';
});

const generateJoke = weave.op(async function generateJoke(
    topic: string
): Promise<string> {
    return callAnthropic(`Tell me a joke about ${topic}`, 'claude-3-haiku-20240307');
});

console.log(await generateJoke('chickens'));
console.log(await generateJoke('cars'));

Lorsque vous décorez une fonction avec weave.op(), Weave capture son code, son entrée et sa sortie. Vous pouvez utiliser des ops pour suivre n’importe quelle fonction, y compris des fonctions imbriquées.

Créer un `Model` pour faciliter l’expérimentation

Une fois le traçage des appels individuels en place, l’étape suivante consiste à regrouper les paramètres associés afin de pouvoir comparer différentes configurations.

La classe weave.Model est disponible uniquement dans le SDK Python de Weave. En TypeScript, utilisez le wrapper weave.op() pour suivre des fonctions avec des paramètres structurés.

Il est difficile d’organiser ses expériences lorsque de nombreux éléments évoluent en même temps. La classe Model vous permet de capturer et d’organiser les détails expérimentaux de votre application, comme votre prompt système ou le modèle que vous utilisez. Vous pouvez ainsi organiser et comparer les différentes itérations de votre application. En plus d’assurer la gestion des versions du code et de capturer les entrées et les sorties, les modèles capturent des paramètres structurés qui contrôlent le comportement de votre application. Vous pouvez ainsi identifier plus facilement les paramètres les plus efficaces. Vous pouvez également utiliser les modèles Weave avec serve et les évaluations. Dans l’exemple suivant, vous pouvez faire varier model et temperature :

import weave    
# utilisez la bibliothèque anthropic comme d’habitude
import os
from anthropic import Anthropic
weave.init('joker-anthropic')

class JokerModel(weave.Model): # Remplacez par `weave.Model`
  model: str
  temperature: float
  
  @weave.op()
  def predict(self, topic): # Remplacez par `predict`
    client = Anthropic()
    message = client.messages.create(
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": f"Tell me a joke about {topic}",
        }
        ],
        model=self.model,
        temperature=self.temperature
    )
    return message.content[0].text


joker = JokerModel(
    model="claude-3-haiku-20240307",
    temperature = 0.1)
result = joker.predict("Chickens and Robots")
print(result)

Chaque fois que vous modifiez l’une de ces valeurs, Weave crée et suit une nouvelle version de JokerModel. Vous pouvez ainsi associer les données de trace aux modifications de votre code, ce qui vous aide à déterminer quelles configurations conviennent le mieux à votre cas d’usage.

Outils (appel de fonctions)

En plus des messages standard, Weave instrumente l’interface d’utilisation d’outils d’Anthropic, ce qui vous permet de tracer vos flux de travail agentiques de bout en bout. Anthropic fournit une interface d’outils qui permet à Claude de demander des appels de fonctions. Weave suit automatiquement les définitions d’outils, les requêtes d’utilisation d’outils et les résultats d’outils tout au long de la conversation. Les exemples tronqués suivants illustrent une configuration d’outils Anthropic :

Python
TypeScript

message = client.messages.create(
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": "What's the weather like in San Francisco?",
        }
    ],
    tools=[
        {
            "name": "get_weather",
            "description": "Get the current weather in a given location",
            "input_schema": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The city and state, e.g. San Francisco, CA",
                    }
                },
                "required": ["location"],
            },
        },
    ],
    model=model,
)

print(message)

const message = await client.messages.create({
    max_tokens: 1024,
    messages: [
        {
            role: 'user',
            content: "What's the weather like in San Francisco?",
        }
    ],
    tools: [
        {
            name: 'get_weather',
            description: 'Get the current weather in a given location',
            input_schema: {
                type: 'object',
                properties: {
                    location: {
                        type: 'string',
                        description: 'The city and state, e.g. San Francisco, CA',
                    }
                },
                required: ['location'],
            },
        },
    ],
    model: 'claude-3-opus-20240229',
});

console.log(message);

Weave capture automatiquement les définitions d’outils, les requêtes d’utilisation d’outils émises par Claude et les résultats d’outils à chaque étape de la conversation.

​Traces

​Encapsuler avec vos propres ops

​Créer un Model pour faciliter l’expérimentation

​Outils (appel de fonctions)

Traces

Encapsuler avec vos propres ops

Créer un `Model` pour faciliter l’expérimentation

Outils (appel de fonctions)