Ajouter des environnements d’exécution personnalisés

Enregistrez un environnement d’exécution personnalisé pour connecter un point de terminaison d’inférence compatible avec OpenAI à un projet W&B Weave. Une fois l’enregistrement effectué, les modèles de ce point de terminaison apparaissent dans les sélecteurs de modèles de Weave. Votre équipe et vous pouvez alors les utiliser dans le Playground, le playground d’évaluation et les flux de travail LLM-as-a-judge, sans écrire de code d’intégration. Un environnement d’exécution personnalisé permet de connecter notamment :

Un agent ou un prototype de modèle que votre équipe expose derrière une API compatible avec OpenAI.
Un modèle auto-hébergé ou local (par exemple, servi par Ollama ou vLLM).
Un fournisseur ou une version de modèle que Weave ne prend pas en charge nativement.

Vous pouvez gérer les environnements d’exécution personnalisés dans l’interface utilisateur de Weights & Biases, ou par programmation avec les SDK Python et TypeScript. L’approche par SDK est pensée pour la CI/CD : l’enregistrement étant déclaratif et idempotent, votre pipeline peut réenregistrer un runtime à chaque déploiement, et Weave converge alors vers la configuration que vous avez spécifiée.

Où utiliser les environnements d’exécution personnalisés

Les modèles d’un environnement d’exécution personnalisé enregistré apparaissent dans le sélecteur de modèle aux emplacements suivants :

Playground : discutez de manière interactive avec le point de terminaison.
Playground d’évaluation : évaluez le point de terminaison et comparez-le à d’autres modèles.
Signals : utilisez le point de terminaison comme modèle juge chargé de noter les traces entrantes.
Les sélecteurs de modèle de l’itération sur les scorers et d’Agent Signals.
L’API de complétion de Weave : transmettez l’ID du modèle custom::<runtime-name>::<runtime-id> au point de terminaison completions/create pour exécuter par programmation des complétions tracées sur votre point de terminaison. Consultez la référence de l’API de service.

Ajouter un environnement d’exécution personnalisé

Vous pouvez ajouter un environnement d’exécution personnalisé à votre projet par code ou depuis l’interface utilisateur de Weights & Biases. Pour ce faire, vous devez disposer des informations suivantes sur votre runtime :

Champ	Description
Nom	Identifie le runtime au sein du projet. S’affiche comme nom de groupe dans les sélecteurs de modèles.
URL de base	Point de terminaison compatible avec OpenAI auquel Weave envoie les requêtes de complétion. Doit être accessible depuis les serveurs de W&B.
ID de runtime	Un ou plusieurs ID des modèles servis par le point de terminaison. Chaque ID s’affiche comme un modèle sélectionnable.
Nombre maximal de jetons	Nombre maximal de jetons que le modèle peut générer dans une seule réponse. À définir pour chaque ID de runtime. Valeur par défaut : 4096.
Secret de clé API (facultatif)	Nom d’un secret d’équipe contenant la clé API du point de terminaison.
En-têtes (facultatif)	En-têtes HTTP personnalisés envoyés avec chaque requête au point de terminaison.

Ajouter un environnement d’exécution personnalisé à l’aide de code

À partir des informations sur le runtime présentées dans la section précédente, renseignez les champs appropriés dans la requête d’enregistrement suivante, puis exécutez-la pour créer ou mettre à jour un environnement d’exécution personnalisé dans votre projet. L’enregistrement par programmation nécessite le package Python weave en version 0.53.4 ou ultérieure, ou le package npm weave en version 0.16.5 ou ultérieure.

Python
TypeScript

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

client.register_custom_runtime(
    name="support-agent",
    base_url="https://agent.example/v1",
    api_key_secret="AGENT_API_KEY",
    headers={"X-Tenant-ID": "customer-1"},
    runtime_ids=[
        "support-v12",
        weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
    ],
)

import * as weave from 'weave';

const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');

await client.registerCustomRuntime({
  name: 'support-agent',
  baseUrl: 'https://agent.example/v1',
  apiKeySecret: 'AGENT_API_KEY',
  headers: {'X-Tenant-ID': 'customer-1'},
  runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});

Une fois le runtime ajouté, son ID de runtime prend la forme custom::<runtime-name>::<runtime-id>. Une fois l’appel réussi, les modèles du runtime apparaissent dans les sélecteurs de modèles sous le nom du runtime, comme pour un runtime enregistré dans l’interface utilisateur.

Après la mise à jour d’un runtime, l’inférence peut continuer à utiliser l’ancienne configuration pendant 60 secondes au maximum, le temps que les caches expirent.

Enregistrer un environnement d’exécution personnalisé dans l’interface utilisateur

Pour enregistrer un environnement d’exécution personnalisé depuis l’interface utilisateur de Weights & Biases :

Dans la barre latérale de Weave, sélectionnez Project, puis l’onglet AI Providers. Vous pouvez également cliquer sur Configure providers dans le sélecteur de modèles du Playground.
Cliquez sur Ajouter un environnement d’exécution personnalisé. Le volet latéral de configuration s’ouvre.
Dans le volet latéral, saisissez le nom du runtime, son URL de base et un ou plusieurs ID de runtime. Vous pouvez également ajouter un secret de clé API et des en-têtes personnalisés (facultatif).
Enregistrez le runtime.

Menu de configuration d’un environnement d’exécution personnalisé

Les modèles du runtime apparaissent alors dans les sélecteurs de modèles, regroupés sous le nom du runtime. Un runtime enregistré sans ID de runtime reste visible dans le sélecteur, accompagné d’une action Add runtime ID qui rouvre l’éditeur. Pour modifier ou supprimer un runtime, utilisez les boutons de modification et de suppression situés sur la ligne du runtime, dans l’onglet AI Providers. La suppression d’un runtime est irréversible.

​Où utiliser les environnements d’exécution personnalisés

​Ajouter un environnement d’exécution personnalisé

​Ajouter un environnement d’exécution personnalisé à l’aide de code

​Enregistrer un environnement d’exécution personnalisé dans l’interface utilisateur

Où utiliser les environnements d’exécution personnalisés

Ajouter un environnement d’exécution personnalisé

Ajouter un environnement d’exécution personnalisé à l’aide de code

Enregistrer un environnement d’exécution personnalisé dans l’interface utilisateur