Accéder au service d’Inférence
Les sections suivantes décrivent trois façons d’accéder au service d’Inférence. Choisissez le point d’entrée le mieux adapté à votre flux de travail actuel.Lien direct
Accédez à https://forge.coreweave.com/inference.Depuis l’onglet Inférence
- Accédez à votre compte W&B sur Forge.
- Sélectionnez Inférence dans la barre latérale du projet. Une page s’affiche avec la liste des modèles disponibles et des informations sur chacun d’eux.
Depuis l’onglet Playground
- Sélectionnez Playground dans la barre latérale du projet. L’interface de chat de Playground s’affiche.
- Survolez Serverless Inference dans la liste déroulante des LLM. Une liste déroulante des modèles disponibles s’affiche à droite.
- Depuis la liste déroulante des modèles, vous pouvez :
- Cliquer sur le nom d’un modèle pour l’essayer dans Playground.
- Comparer plusieurs modèles
Tester un modèle dans le Playground
Après avoir sélectionné un modèle, vous pouvez le tester dans le Playground pour évaluer ses réponses et ajuster son comportement avant de l’intégrer ailleurs. Les actions disponibles sont les suivantes :- Personnaliser les paramètres et les réglages du modèle.
- Ajouter, relancer, modifier et supprimer des messages.
- Enregistrer et réutiliser un modèle avec des paramètres personnalisés.
- Comparer plusieurs modèles.
Comparer plusieurs modèles
Vous pouvez comparer côte à côte des modèles d’Inférence dans le Playground afin d’évaluer la qualité, la latence et le style des réponses pour un même prompt. La vue Compare est accessible depuis deux emplacements, décrits dans les sections suivantes.Depuis l’onglet Inférence
- Sélectionnez Inférence dans la barre latérale du projet. La page des modèles disponibles s’affiche.
- Cliquez n’importe où sur la carte d’un modèle (sauf sur son nom) pour le sélectionner. La carte est mise en surbrillance pour indiquer qu’elle est sélectionnée.
- Répétez l’opération pour chaque modèle à comparer.
- Cliquez sur Comparer [N] modèles dans le Playground sur l’une des cartes sélectionnées, où
[N]correspond au nombre de modèles sélectionnés. La vue de comparaison s’ouvre.
Depuis l’onglet Playground
- Sélectionnez Playground dans la barre latérale du projet. L’interface de chat du Playground s’affiche.
- Survolez Serverless Inference dans la liste déroulante des LLM. La liste déroulante des modèles s’affiche à droite.
- Sélectionnez Compare dans la liste déroulante. L’onglet Inférence s’affiche.
- Cliquez n’importe où sur la carte d’un modèle (sauf sur son nom) pour le sélectionner. La carte est alors mise en surbrillance.
- Répétez l’opération pour chaque modèle à comparer.
- Cliquez sur Comparer [N] modèles dans le Playground sur l’une des cartes sélectionnées. La vue de comparaison s’ouvre.
Consulter les informations de facturation et d’utilisation
Les administrateurs de l’organisation peuvent suivre le solde de crédits, l’historique d’utilisation et les factures à venir depuis l’interface W&B. Utilisez cette vue pour surveiller vos dépenses et anticiper les frais à venir.- Accédez à la page Billing de W&B dans l’interface utilisateur.
- Repérez la carte d’informations de facturation Inférence.
- Depuis cette carte, vous pouvez :
- Cliquer sur View usage pour voir l’évolution de votre utilisation dans le temps.
- Consulter les frais d’inférence à venir (pour les forfaits payants).
Étapes suivantes
- Consultez les modèles disponibles pour trouver celui qui correspond le mieux à vos besoins.
- Essayez l’API pour un accès programmatique.
- Consultez les exemples d’utilisation pour obtenir des exemples de code.