OpenRouter - CoreWeave Docs

Ce guide explique comment utiliser Weave pour tracer automatiquement les appels aux LLM accessibles via OpenRouter, afin de surveiller, déboguer et évaluer l’utilisation des modèles par votre application depuis un tableau de bord unique. OpenRouter est une interface unifiée pour de nombreux LLM, qui prend en charge aussi bien des modèles de fondation comme OpenAI GPT-4, Anthropic Claude et Google Gemini que des modèles open source comme LLama-3, Mixtral et bien d’autres. Certains modèles sont proposés gratuitement. OpenRouter propose une API REST ainsi qu’une compatibilité avec le SDK OpenAI, que Weave détecte automatiquement et avec laquelle il s’intègre. Pour plus de détails, reportez-vous au guide de démarrage rapide d’OpenRouter. Comme Weave détecte le SDK d’OpenAI, vous pouvez réutiliser votre code OpenAI existant en modifiant simplement quelques paramètres de configuration. Pour faire basculer votre code basé sur le SDK d’OpenAI vers OpenRouter, remplacez la clé API par votre clé d’API OpenRouter, définissez base_url sur https://openrouter.ai/api/v1 et choisissez l’un des modèles de chat disponibles. Lorsque vous appelez weave.init(), indiquez un nom de projet pour vos traces. Si vous n’en indiquez pas, Weave utilise votre entity par défaut. Pour trouver ou modifier votre entity par défaut, consultez la section Paramètres utilisateur de la documentation W&B Models. Une fois l’exemple suivant exécuté, Weave capture votre appel à OpenRouter sous forme de trace dans votre projet Weave.

import os
import openai
import weave

weave.init('openrouter-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("OPENROUTER_API_KEY"),
    base_url="https://openrouter.ai/api/v1",
)
chat_completion = client.chat.completions.create(
    extra_headers={
    "HTTP-Referer": "[YOUR-SITE-URL]", # Facultatif, permet de faire figurer votre application dans les classements d’openrouter.ai.
    "X-Title": "[YOUR-APP-NAME]", # Facultatif. Nom affiché dans les classements d’openrouter.ai.
    },
    model="meta-llama/llama-3.1-8b-instruct:free",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Model response:\n", response)

Cet exemple de base vous permet de faire vos premiers pas. Pour des cas d’utilisation plus complexes, consultez le guide OpenAI pour découvrir comment intégrer Weave à vos propres fonctions.