Connecter votre application

Ce guide vous explique comment envoyer une requête via le proxy Model Distillation et vérifier que celui-ci l’enregistre bien. La plupart des applications basées sur la complétion de chat n’ont besoin que d’une nouvelle URL de base, d’une nouvelle clé API et d’un nouveau projet, ainsi que de la valeur router pour le paramètre model. La gestion des requêtes et des réponses reste inchangée.

Avant de commencer

Vous avez besoin d’une clé API Forge, d’un projet auquel un acheminement est appliqué et de la valeur OpenAI-Project du projet. Cette valeur se présente sous la forme [ENTITY]/[PROJECT], où [PROJECT] correspond au nom du projet Weights & Biases, et non à son alias. Studio affiche cette valeur, prête à être copiée, dans l’en-tête du projet et sur sa page de paramètres. Les exemples utilisent your-team/ticket-classifier. Remplacez cette valeur par la valeur OpenAI-Project de votre projet.

Python
JavaScript
cURL

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://proxy.training.coreweave.com/v1",
    api_key=os.environ["WANDB_API_KEY"],
    project="your-team/ticket-classifier",  # envoyé en tant que OpenAI-Project
)

response = client.chat.completions.create(
    model="router",
    messages=[
        {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    metadata={"gen_ai.conversation.id": "customer-4827"},
)

print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://proxy.training.coreweave.com/v1",
  apiKey: process.env.WANDB_API_KEY,
  project: "your-team/ticket-classifier", // envoyé en tant que OpenAI-Project
});

const response = await client.chat.completions.create({
  model: "router",
  messages: [
    { role: "user", content: "My package arrived damaged. What should I do?" },
  ],
  metadata: { "gen_ai.conversation.id": "customer-4827" },
});

console.log(response.choices[0].message.content);

curl https://proxy.training.coreweave.com/v1/chat/completions \
  -H "Authorization: Bearer $WANDB_API_KEY" \
  -H "Content-Type: application/json" \
  -H "OpenAI-Project: your-team/ticket-classifier" \
  -d '{
    "model": "router",
    "messages": [
      {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    "metadata": {
      "gen_ai.conversation.id": "customer-4827"
    }
  }'

Les SDK d’OpenAI envoient l’option project dans l’en-tête OpenAI-Project. Ils peuvent également la lire dans la variable d’environnement OPENAI_PROJECT_ID. Avec cet en-tête, model: "router" utilise l’acheminement pondéré de la version 1 du projet. Pour utiliser une autre version, ajoutez "forge.project_version": "2" à metadata. Transmettez metadata directement à create(), comme dans les exemples. Les anciennes versions du paquet Python openai ne prennent pas en charge le paramètre metadata. Mettez à jour le paquet ou transmettez le même objet sous la forme extra_body={"metadata": {...}}.

Vérifier l’intégration

Après avoir envoyé une requête, revenez à l’aperçu du projet. Vérifiez les points suivants :

Le nombre de requêtes a augmenté.
C’est bien le modèle attendu qui a servi la requête.
L’entrée et la réponse enregistrées semblent correctes.

Si le proxy renvoie 404 avec No routing configuration for project, vérifiez la valeur OpenAI-Project. Elle doit correspondre au nom du projet Weights & Biases, et non à l’alias du projet. Vérifiez également que l’acheminement est bien appliqué. Pour les autres échecs, consultez Erreurs du proxy.

Préserver l’identité de la conversation

Utilisez le même gen_ai.conversation.id pour toutes les requêtes d’une même conversation. Ainsi, une conversation reste associée au même modèle pendant un déploiement progressif, et les exemples associés restent regroupés lors de la préparation des données.

Détails sur les complétions de chat

En savoir plus sur le streaming, les outils, les sorties structurées, les paramètres du fournisseur et l’ordre de priorité des requêtes.

​Avant de commencer

​Vérifier l’intégration

​Préserver l’identité de la conversation

Détails sur les complétions de chat

Avant de commencer

Vérifier l’intégration

Préserver l’identité de la conversation