Google - CoreWeave Docs

Vous pouvez tester les modèles d’IA de Google dans Weave sans aucune configuration grâce au LLM Playground.

Cette page explique comment utiliser W&B Weave avec l’API Google Vertex AI et l’API Google Gemini afin d’évaluer, de surveiller et d’améliorer par itérations vos applications Google GenAI. Weave capture automatiquement les traces pour :

le SDK Google GenAI, accessible via le SDK Python, le SDK Node.js, le SDK Go et l’API REST ;
l’API Google Vertex AI, qui donne accès aux modèles Gemini de Google et aux modèles partenaires.

Weave prend également en charge le Google AI Python SDK pour l’API Gemini, désormais obsolète. Cette prise en charge est elle aussi obsolète et sera supprimée dans une version ultérieure.

Premiers pas

Les exemples suivants montrent comment activer le traçage pour chaque SDK pris en charge. Dans les deux cas, l’appel à weave.init est la seule étape propre à Weave. Votre code Google GenAI ou Vertex AI existant reste inchangé. Weave capture automatiquement les traces du SDK Google GenAI. Pour commencer à suivre vos appels, appelez weave.init(project_name="[YOUR-WANDB-PROJECT-NAME]"), puis utilisez la bibliothèque comme d’habitude.

import os
from google import genai
import weave

weave.init(project_name="google-genai")

google_client = genai.Client(api_key=os.getenv("GOOGLE_GENAI_KEY"))
response = google_client.models.generate_content(
    model="gemini-2.0-flash",
    contents="What's the capital of France?",
)

Weave capture également automatiquement les traces des API Vertex. Pour commencer le suivi, appelez weave.init(project_name="[YOUR-WANDB-PROJECT-NAME]"), puis utilisez la bibliothèque comme vous le feriez habituellement.

import vertexai
import weave
from vertexai.generative_models import GenerativeModel

weave.init(project_name="vertex-ai-test")
vertexai.init(project="[YOUR-VERTEX-AI-PROJECT-NAME]", location="[YOUR-VERTEX-AI-PROJECT-LOCATION]")
model = GenerativeModel("gemini-1.5-flash-002")
response = model.generate_content(
    "What's a good name for a flower shop specialising in selling dried flower bouquets?"
)

Suivre vos propres ops

Encapsulez une fonction avec @weave.op pour commencer à capturer les entrées, les sorties et la logique de votre application, et ainsi déboguer le cheminement des données dans celle-ci. Vous pouvez imbriquer des ops sur plusieurs niveaux et construire une arborescence des fonctions que vous souhaitez suivre. Le code est également versionné automatiquement au fil de vos expériences, ce qui permet de capturer les modifications ponctuelles qui n’ont pas été validées dans git. Créez une fonction décorée avec @weave.op. Dans l’exemple suivant, la fonction recommend_places_to_visit est encapsulée avec @weave.op et recommande des lieux à visiter dans une ville.

import os
from google import genai
import weave

weave.init(project_name="google-genai")
google_client = genai.Client(api_key=os.getenv("GOOGLE_GENAI_KEY"))


@weave.op()
def recommend_places_to_visit(city: str, model: str = "gemini-1.5-flash"):
    response = google_client.models.generate_content(
        model=model,
        contents="You are a helpful assistant meant to suggest all budget-friendly places to visit in a city",
    )
    return response.text


recommend_places_to_visit("New York")
recommend_places_to_visit("Paris")
recommend_places_to_visit("Kolkata")

Créer un `Model` pour faciliter l’expérimentation

Il est difficile d’organiser ses expériences lorsque de nombreux éléments évoluent en même temps. Avec la classe Model, vous pouvez capturer et organiser les détails expérimentaux de votre application, comme votre prompt système ou le modèle que vous utilisez. Vous pouvez ainsi organiser et comparer plus facilement les différentes itérations de votre application. En plus de gérer les versions du code et de capturer les entrées et sorties, les Model capturent des paramètres structurés qui contrôlent le comportement de votre application, ce qui vous aide à trouver les paramètres les plus efficaces. Vous pouvez également utiliser les Weave Models avec serve et les Evaluation. Dans l’exemple suivant, vous pouvez expérimenter avec CityVisitRecommender. Chaque fois que vous modifiez l’un de ces éléments, vous obtenez une nouvelle version de CityVisitRecommender. Vous disposez ainsi d’un historique versionné de chaque configuration que vous essayez, que vous pourrez ensuite comparer ou évaluer.

import os
from google import genai
import weave

weave.init(project_name="google-genai")
google_client = genai.Client(api_key=os.getenv("GOOGLE_GENAI_KEY"))


class CityVisitRecommender(weave.Model):
    model: str

    @weave.op()
    def predict(self, city: str) -> str:
        response = google_client.models.generate_content(
            model=self.model,
            contents="You are a helpful assistant meant to suggest all budget-friendly places to visit in a city",
        )
        return response.text


city_recommender = CityVisitRecommender(model="gemini-1.5-flash")
print(city_recommender.predict("New York"))
print(city_recommender.predict("San Francisco"))
print(city_recommender.predict("Los Angeles"))

​Premiers pas

​Suivre vos propres ops

​Créer un Model pour faciliter l’expérimentation

Premiers pas

Suivre vos propres ops

Créer un `Model` pour faciliter l’expérimentation