Cohere - CoreWeave Docs

Une fois weave.init() appelé, Weave suit et consigne automatiquement les appels LLM effectués via la bibliothèque Python Cohere.

Traces

Il est important de stocker les traces des applications LLM dans une base de données centralisée, aussi bien pendant le développement qu’en production. Ces traces vous servent à déboguer votre application et constituent un jeu de données qui vous aide à l’améliorer. Weave capture automatiquement les traces de cohere-python. Utilisez la bibliothèque comme d’habitude, en commençant par appeler weave.init() :

import cohere
import os
import weave

# Utilisez la bibliothèque Cohere comme d’habitude
co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

response = co.chat(
    message="How is the weather in Boston?",
    # effectue une recherche web avant de répondre à la question. Vous pouvez aussi utiliser votre propre connecteur personnalisé.
    connectors=[{"id": "web-search"}],
)
print(response.text)

Si vous ne spécifiez pas d’équipe CoreWeave Forge lorsque vous appelez weave.init(), Weave utilise votre entity par défaut. Pour trouver ou modifier votre entity par défaut, reportez-vous à la section Paramètres utilisateur de la documentation Weights & Biases Models. Les modèles Cohere prennent en charge les connecteurs, qui vous permettent d’envoyer des requêtes à d’autres API côté point de terminaison. La réponse contient alors le texte généré, accompagné d’éléments de citation qui renvoient aux documents retournés par le connecteur.

Weave patche les méthodes Cohere Client.chat(), AsyncClient.chat(), Client.chat_stream() et AsyncClient.chat_stream() afin de suivre vos appels LLM.

Encapsuler avec vos propres ops

Les ops Weave rendent les résultats reproductibles en gérant automatiquement les versions du code au fil de vos expériences, tout en capturant leurs entrées et leurs sorties. Créez une fonction décorée avec @weave.op() qui appelle les méthodes de chat de Cohere, et Weave assure le suivi des entrées et des sorties à votre place. Voici un exemple :

import cohere
import os
import weave

co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

@weave.op()
def weather(location: str, model: str) -> str:
    response = co.chat(
        model=model,
        message=f"How is the weather in {location}?",
        # effectue une recherche web avant de répondre à la question. Vous pouvez également utiliser votre propre connecteur personnalisé.
        connectors=[{"id": "web-search"}],
    )
    return response.text

print(weather("Boston", "command"))

Créer un `Model` pour faciliter l’expérimentation

Il est difficile d’organiser ses expériences lorsque de nombreux éléments entrent en jeu. La classe Model vous permet de capturer et d’organiser les détails expérimentaux de votre application, comme votre prompt système ou le modèle que vous utilisez. Vous pouvez ainsi organiser et comparer plus facilement les différentes itérations de votre application. En plus de gérer les versions du code et de capturer les entrées/sorties, les Models capturent des paramètres structurés qui contrôlent le comportement de votre application, ce qui vous aide à trouver les paramètres les plus efficaces. Vous pouvez également utiliser les Weave Models avec serve et avec les Evaluations. Dans l’exemple suivant, vous pouvez faire varier model et temperature. Chaque fois que vous modifiez l’un de ces paramètres, vous obtenez une nouvelle version de WeatherModel.

import weave
import cohere
import os

weave.init('weather-cohere')

class WeatherModel(weave.Model):
    model: str
    temperature: float
  
    @weave.op()
    def predict(self, location: str) -> str:
        co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])
        response = co.chat(
            message=f"How is the weather in {location}?",
            model=self.model,
            temperature=self.temperature,
            connectors=[{"id": "web-search"}]
        )
        return response.text

weather_model = WeatherModel(
    model="command",
    temperature=0.7
)
result = weather_model.predict("Boston")
print(result)

​Traces

​Encapsuler avec vos propres ops

​Créer un Model pour faciliter l’expérimentation

Traces

Encapsuler avec vos propres ops

Créer un `Model` pour faciliter l’expérimentation