Utiliser Serverless RL - CoreWeave Docs

Utilisez Serverless RL pour effectuer le post-entraînement d’un LLM par apprentissage par renforcement. Vous définissez une fonction de récompense qui évalue les sorties de votre agent. Serverless RL collecte des lots de trajectoires, met à jour un adaptateur de faible rang (LoRA) afin de favoriser les comportements les mieux notés, stocke l’adaptateur sous forme d’artifact dans votre compte Weights & Biases et héberge chaque point de contrôle sur Serverless Inference. Serverless RL est actuellement en préversion publique. Vous pouvez utiliser Serverless RL via le framework ART d’OpenPipe ou directement avec l’API Serverless Training.

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

Un compte Forge. Si vous n’en avez pas, inscrivez-vous.
Une clé API. Dans Forge, cliquez sur l’icône de votre profil, sélectionnez Settings, puis cliquez sur Create new API key. Copiez la clé dès qu’elle s’affiche, car vous ne pourrez plus la consulter par la suite. Les exemples de cette page la lisent dans la variable d’environnement WANDB_API_KEY ; le guide de démarrage rapide d’ART indique où ART s’attend à la trouver.
Un projet dans Weights & Biases pour enregistrer les métriques d’entraînement et stocker l’adaptateur entraîné. Voir Projects.
Une fonction de récompense qui évalue les sorties de votre agent. Serverless RL entraîne le modèle à maximiser ce que cette fonction récompense : c’est donc elle qui définit la tâche. Le guide de démarrage rapide d’ART explique comment en écrire une.
Le framework ART, si vous l’utilisez au lieu d’appeler directement l’API. Suivez les étapes d’installation du guide de démarrage rapide d’ART.

Consultez également la page Informations d’utilisation et limites pour connaître les coûts et les restrictions, puis choisissez un modèle de base parmi les modèles disponibles.

Entraîner un agent

Framework ART
API Serverless Training

ART encapsule l’API Serverless Training et gère pour vous les rollouts, les récompenses et les points de contrôle. C’est la méthode recommandée pour débuter. Suivez le démarrage rapide d’ART ou ouvrez le notebook d’exemple, qui entraîne de bout en bout un agent à jouer à 2048.

Appelez directement l’API si vous souhaitez intégrer l’entraînement à vos propres outils :

Créez un modèle avec POST /v1/preview/models.
Générez des rollouts en envoyant des requêtes de complétion de chat au point de contrôle actuel du modèle avec POST /v1/chat/completions, puis notez-les à l’aide de votre fonction de récompense.
Journalisez les trajectoires évaluées avec POST /v1/preview/models/{model_id}/log.
Lancez une étape d’entraînement avec POST /v1/preview/training-jobs, puis interrogez GET /v1/preview/training-jobs/{training_job_id} pour suivre sa progression.

L’URL de base de l’API et les informations d’authentification sont disponibles dans l’aperçu de l’API.

Utiliser vos modèles entraînés

Une fois entraîné, un modèle est automatiquement disponible pour l’inférence. Cette section explique comment construire le point de terminaison d’un modèle entraîné et lui envoyer des requêtes, afin d’intégrer ce modèle à votre application ou à vos flux de travail d’évaluation. Les mêmes étapes s’appliquent aux modèles entraînés avec Serverless SFT. Pour envoyer des requêtes à votre modèle entraîné, vous avez besoin des éléments suivants :

Votre clé API. Créez-en une dans Forge, sous Settings.
L’URL de base de l’API Serverless Training : https://forge.coreweave.com/api/training/v1/.
Le point de terminaison de votre modèle.

Le point de terminaison du modèle respecte le schéma suivant :

wandb-artifact:///[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]

Le schéma se compose des éléments suivants :

Votre entity, c’est-à-dire le nom de votre équipe.
Le nom du projet associé à votre modèle.
Le nom de votre modèle entraîné.
L’étape d’entraînement du modèle que vous souhaitez déployer. Il s’agit généralement de l’étape à laquelle le modèle a obtenu les meilleurs résultats lors de vos évaluations.

Par exemple, si votre équipe s’appelle email-specialists, votre projet mail-search et votre modèle entraîné agent-001, et que vous souhaitez le déployer à l’étape 25, le point de terminaison se présente ainsi :

wandb-artifact:///email-specialists/mail-search/agent-001:step25

Une fois votre point de terminaison obtenu, vous pouvez l’intégrer à vos flux de travail d’inférence habituels. Les exemples suivants montrent comment envoyer des requêtes d’inférence à votre modèle entraîné à l’aide d’une requête cURL ou du SDK d’OpenAI pour Python. Choisissez l’exemple adapté à votre environnement.

cURL

curl https://forge.coreweave.com/api/training/v1/chat/completions \
    -H "Authorization: Bearer $WANDB_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
            "model": "wandb-artifact:///[ENTITY]/[PROJECT]/[MODEL-NAME]:[STEP]",
            "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Summarize our training run."}
            ],
            "temperature": 0.7,
            "top_p": 0.95
        }'

SDK d’OpenAI

from openai import OpenAI

WANDB_API_KEY = "[API-KEY]"
ENTITY = "[ENTITY]"
PROJECT = "[PROJECT]"

client = OpenAI(
    base_url="https://forge.coreweave.com/api/training/v1",
    api_key=WANDB_API_KEY
)

response = client.chat.completions.create(
    model=f"wandb-artifact:///{ENTITY}/{PROJECT}/[MODEL-NAME]:[STEP]",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Summarize our training run."},
    ],
    temperature=0.7,
    top_p=0.95,
)

print(response.choices[0].message.content)

Pour économiser de l’espace de stockage, supprimez les points de contrôle dont vous n’avez plus besoin. Voir Informations d’utilisation et limites.

​Prérequis

​Entraîner un agent

​Utiliser vos modèles entraînés

​cURL

​SDK d’OpenAI

Prérequis

Entraîner un agent

Utiliser vos modèles entraînés

cURL

SDK d’OpenAI