- Configurer une file d’attente : les files d’attente fonctionnent selon le principe du premier entré, premier sorti (FIFO) et possèdent leur propre configuration. La configuration d’une file d’attente détermine où et comment les jobs s’exécutent sur une ressource cible.
- Configurer un agent : les agents s’exécutent sur votre machine ou votre infrastructure et interrogent une ou plusieurs files d’attente à la recherche de jobs Launch. Lorsque l’agent récupère un job, il vérifie que l’image est construite et disponible, puis soumet le job à la ressource cible.
Configurer une file d’attente
Configurez les files d’attente Launch pour qu’elles pointent vers une ressource cible précise, avec toute configuration supplémentaire propre à cette ressource. Par exemple, une file d’attente Launch qui pointe vers un cluster Kubernetes peut inclure des variables d’environnement ou définir un namespace personnalisé dans sa configuration de file d’attente Launch. Lorsque vous créez une file d’attente, vous indiquez à la fois la ressource cible à utiliser et la configuration que cette ressource doit appliquer. Lorsqu’un agent reçoit un job d’une file d’attente, il reçoit également la configuration de la file d’attente. Lorsque l’agent soumet le job à la ressource cible, il transmet la configuration de la file d’attente ainsi que les éventuelles redéfinitions propres au job. Par exemple, vous pouvez utiliser une configuration de job pour spécifier le type d’instance Amazon SageMaker de cette seule instance de job. Dans ce cas, on utilise généralement des modèles de configuration de file d’attente comme interface pour l’utilisateur final.Créer une file d’attente
Créez une file d’attente pour définir où les jobs Launch s’exécutent et comment ils sont configurés. Pour créer une file d’attente :- Accédez à l’App Launch à l’adresse https://forge.coreweave.com/wandb/launch.
- Cliquez sur le bouton create queue en haut à droite de l’écran.
- Dans le menu déroulant Entity, sélectionnez l’entity à laquelle appartient la file d’attente.
- Saisissez un nom pour votre file d’attente dans le champ Queue.
- Dans le menu déroulant Resource, sélectionnez la ressource de calcul que doivent utiliser les jobs ajoutés à cette file d’attente.
- Indiquez si vous souhaitez autoriser la Prioritization pour cette file d’attente. Si la priorisation est activée, un utilisateur de votre équipe peut attribuer une priorité à son job Launch lorsqu’il l’ajoute à la file d’attente. Les jobs de priorité élevée s’exécutent avant ceux de priorité inférieure.
- Fournissez une configuration de ressources au format JSON ou YAML dans le champ Configuration. La structure et la sémantique de votre document de configuration dépendent du type de ressource vers lequel pointe la file d’attente. Pour plus de détails, consultez la page de configuration dédiée à votre ressource cible.
Configurer un agent Launch
Les agents Launch sont des processus de longue durée qui interrogent une ou plusieurs files d’attente Launch à la recherche de jobs. Selon les files d’attente qu’ils interrogent, les agents Launch retirent les jobs dans l’ordre FIFO ou par ordre de priorité. Lorsqu’un agent retire un job d’une file d’attente, il peut, si nécessaire, construire une image pour ce job. L’agent soumet ensuite le job à la ressource cible, avec les options de configuration spécifiées dans la configuration de la file d’attente.Les agents sont flexibles et peuvent être configurés pour répondre à de nombreux cas d’usage. La configuration requise pour votre agent dépend de votre cas d’usage. Consultez la page dédiée à Docker, Amazon SageMaker, Kubernetes ou Vertex AI.
W&B recommande de démarrer les agents avec la clé API d’un compte de service plutôt qu’avec celle d’un utilisateur donné. L’utilisation de la clé API d’un compte de service présente deux avantages :
- L’agent ne dépend pas d’un utilisateur en particulier.
- Launch considère comme auteur d’un run créé via Launch l’utilisateur qui a soumis le job Launch, et non l’utilisateur associé à l’agent.
Configuration de l’agent
Configurez l’agent Launch afin qu’il sache quelles files d’attente interroger, pour quelle entity agir et combien de jobs exécuter en parallèle. La configuration de l’agent Launch s’effectue au moyen d’un fichier YAML nommélaunch-config.yaml. Par défaut, W&B recherche le fichier de configuration dans ~/.config/wandb/launch-config.yaml. Vous pouvez également indiquer un autre répertoire lorsque vous activez l’agent Launch.
Le contenu du fichier de configuration de votre agent Launch dépend de l’environnement de l’agent, de la ressource cible de la file d’attente Launch, des exigences du générateur Docker, de celles du registre cloud, etc.
Quel que soit votre cas d’usage, l’agent Launch dispose des principales options configurables suivantes :
max_jobs: nombre maximal de jobs que l’agent peut exécuter en parallèle.entity: entity à laquelle appartient la file d’attente.queues: nom d’une ou de plusieurs files d’attente que l’agent doit surveiller.
Vous pouvez utiliser la CLI W&B pour spécifier les options configurables universelles de l’agent Launch (au lieu du fichier de configuration YAML) : nombre maximal de jobs, entity W&B et files d’attente Launch. Pour plus d’informations, consultez la commande
wandb launch-agent.[ENTITY-NAME] par votre entity W&B et [QUEUE-NAME] par le nom d’une file d’attente que l’agent doit interroger.
launch-config.yaml
Configurer un générateur de conteneurs
Vous pouvez configurer l’agent Launch pour qu’il construise des images. Si vous prévoyez d’utiliser des jobs Launch créés à partir de dépôts git ou d’artifacts de code, vous devez configurer l’agent pour qu’il utilise un générateur de conteneurs. Pour plus d’informations sur la création d’un job Launch, voir Créer un job Launch. W&B Launch prend en charge trois options de générateur :- Docker : le générateur Docker utilise un démon Docker local pour construire les images.
- Kaniko : Kaniko est un projet Google qui permet de construire des images dans des environnements dépourvus de démon Docker.
- Noop : l’agent n’essaie pas de construire les jobs et se contente de récupérer des images préconstruites.
Utilisez le générateur Kaniko si votre agent interroge les files d’attente dans un environnement où aucun démon Docker n’est disponible (par exemple, un cluster Kubernetes).Pour plus de détails sur le générateur Kaniko, voir Configurer Kubernetes.
builder dans la configuration de votre agent. Par exemple, l’extrait de code suivant montre une partie de la configuration Launch (launch-config.yaml) indiquant d’utiliser Docker ou Kaniko :
launch-config.yaml
Configurer un registre de conteneurs
Il peut arriver que vous souhaitiez connecter un agent Launch à un registre cloud afin qu’il puisse récupérer des images préconstruites ou téléverser les images qu’il construit. Voici quelques cas courants où il est utile de connecter un agent Launch à un registre cloud :- Vous souhaitez exécuter un job dans un environnement différent de celui où vous l’avez construit, par exemple une station de travail puissante ou un cluster.
- Vous souhaitez utiliser l’agent pour construire des images et les exécuter sur Amazon SageMaker ou Vertex AI.
- Vous souhaitez que l’agent Launch fournisse les identifiants d’authentification nécessaires pour récupérer des images depuis un dépôt d’images.
Activer l’agent Launch
Une fois l’agent configuré, activez-le pour qu’il commence à interroger les files d’attente que vous avez spécifiées et à distribuer les jobs vers votre ressource cible. Activez l’agent Launch avec la commandelaunch-agent de la CLI W&B. Remplacez [QUEUE-1] et [QUEUE-2] par les noms des files d’attente que l’agent doit interroger :