Together AI - CoreWeave Docs

Together AI est une plateforme de création et de fine-tuning de modèles d’IA générative. Axée sur les LLM open source, elle permet à ses clients d’effectuer le fine-tuning de leurs propres modèles et de les héberger. Ce guide explique comment tracer et évaluer les appels de modèle Together AI dans Weave grâce à la compatibilité du SDK OpenAI proposée par Together. Vous pouvez ainsi surveiller les entrées, les sorties et les performances des LLM open source parallèlement à vos autres travaux suivis dans Weave.

La prise en charge complète du package Python together par Weave est en cours de développement.

En attendant, Together prend en charge la compatibilité du SDK OpenAI, que Weave détecte automatiquement et avec laquelle il s’intègre. Vous pouvez utiliser le client OpenAI standard pour appeler les modèles Together AI et bénéficier automatiquement du traçage Weave, sans aucune configuration supplémentaire. Pour utiliser l’API Together, définissez api_key sur votre clé d’API Together, base_url sur https://api.together.xyz/v1 et model sur l’un des modèles de chat. L’exemple suivant initialise Weave, puis effectue un appel de complétion de chat vers un modèle hébergé par Together. Une fois l’exécution terminée, l’appel apparaît sous forme de trace dans votre projet Weave.

import os
import openai
import weave

weave.init('together-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("TOGETHER_API_KEY"),
    base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)

Cet exemple vous permet de faire vos premiers pas. Pour en savoir plus sur l’intégration de Weave à vos propres fonctions dans des cas d’usage plus complexes, consultez le guide OpenAI.

Dernière modification le 30 septembre 2026