Tutoriel : configurer W&B Launch sur Vertex AI

Ce tutoriel vous guide dans la configuration de W&B Launch afin de soumettre des jobs qui s’exécuteront en tant que tâches d’entraînement Vertex AI, pour déléguer vos charges de travail d’entraînement à l’infrastructure gérée de Google Cloud. Les tâches d’entraînement Vertex AI vous permettent d’entraîner des modèles de machine learning sur la plateforme Vertex AI à l’aide d’algorithmes fournis ou personnalisés. Une fois le job Launch démarré, Vertex AI prend en charge l’infrastructure sous-jacente, la mise à l’échelle et l’orchestration. Ce guide s’adresse aux ingénieurs ML et aux administrateurs de plateforme qui utilisent déjà W&B Launch et souhaitent exécuter des jobs sur Google Cloud Vertex AI. W&B Launch s’intègre à Vertex AI par l’intermédiaire de la classe CustomJob du SDK google-cloud-aiplatform. Vous pouvez contrôler les paramètres d’un CustomJob au moyen de la configuration de la file d’attente Launch. Vertex AI ne peut pas être configuré pour récupérer des images depuis un registre privé hébergé en dehors de Google Cloud. Vous devez donc stocker vos images de conteneur dans Google Cloud ou dans un registre public si vous souhaitez utiliser Vertex AI avec W&B Launch. Consultez la documentation Vertex AI pour savoir comment rendre les images de conteneur accessibles aux jobs Vertex.

Prérequis

Avant de configurer une file d’attente Launch, assurez-vous que les ressources et autorisations Google Cloud suivantes sont en place :

Créez un projet Google Cloud dans lequel l’API Vertex AI est activée, ou accédez à un projet existant. Consultez la documentation de la console des API Google Cloud pour en savoir plus sur l’activation d’une API.
Créez un dépôt Google Cloud Artifact Registry pour stocker les images que vous souhaitez exécuter sur Vertex. Consultez la documentation Google Cloud Artifact Registry pour en savoir plus.
Créez un bucket GCS de staging dans lequel Vertex AI stockera ses métadonnées. Pour servir de bucket de staging, ce bucket doit se trouver dans la même région que vos charges de travail Vertex AI. Vous pouvez utiliser le même bucket pour le staging et pour les contextes de build.
Créez un compte de service disposant des autorisations nécessaires pour lancer des jobs Vertex AI. Consultez la documentation Google Cloud IAM pour en savoir plus sur l’attribution d’autorisations aux comptes de service.
Accordez à votre compte de service l’autorisation de gérer les jobs Vertex, comme indiqué dans le tableau suivant :

Autorisation	Portée de la ressource	Description
`aiplatform.customJobs.create`	Projet Google Cloud spécifié	Permet de créer des jobs de machine learning dans le projet.
`aiplatform.customJobs.list`	Projet Google Cloud spécifié	Permet de lister les jobs de machine learning du projet.
`aiplatform.customJobs.get`	Projet Google Cloud spécifié	Permet de récupérer des informations sur des jobs de machine learning précis du projet.

Si vous souhaitez que vos charges de travail Vertex AI endossent l’identité d’un compte de service non standard, reportez-vous à la documentation Vertex AI pour obtenir des instructions sur la création de comptes de service et les autorisations nécessaires. Utilisez le champ spec.service_account de la configuration de la file d’attente Launch pour sélectionner un compte de service personnalisé pour vos runs W&B.

Configurer une file d’attente pour Vertex AI

Une fois vos prérequis Google Cloud en place, l’étape suivante consiste à planifier la configuration de la file d’attente que W&B Launch utilise pour soumettre des jobs Vertex AI. La configuration de la file d’attente pour les ressources Vertex AI définit les entrées transmises au constructeur CustomJob du SDK Python Vertex AI, ainsi qu’à la méthode run de CustomJob. Les configurations de ressources sont stockées sous les clés spec et run :

La clé spec contient les valeurs des arguments nommés du constructeur CustomJob du SDK Python Vertex AI.
La clé run contient les valeurs des arguments nommés de la méthode run de la classe CustomJob du SDK Python Vertex AI.

La personnalisation de l’environnement d’exécution s’effectue dans la liste spec.worker_pool_specs. Une spécification de pool de workers définit un groupe de workers qui exécutent votre job. Dans la configuration par défaut, la spécification de worker demande une seule machine n1-standard-4 sans accélérateur. Vous pouvez modifier le type de machine, le type d’accélérateur et leur nombre selon vos besoins. Pour plus d’informations sur les types de machines et d’accélérateurs disponibles, voir la documentation Vertex AI.

Créer une file d’attente

Maintenant que vous avez planifié la configuration de votre file d’attente, créez dans la W&B App une file d’attente qui utilise Vertex AI comme ressource de calcul :

Accédez à la page Launch.
Cliquez sur le bouton Create Queue.
Sélectionnez l’Entity dans laquelle vous souhaitez créer la file d’attente.
Saisissez un nom pour votre file d’attente dans le champ Name.
Sélectionnez Google Cloud Vertex AI comme Resource.

Dans le champ Configuration, fournissez les informations relatives au CustomJob Vertex AI que vous avez défini dans Configurer une file d’attente pour Vertex AI. Par défaut, W&B préremplit un corps de requête YAML et JSON semblable à celui-ci :

spec:
  worker_pool_specs:
    - machine_spec:
        machine_type: n1-standard-4
        accelerator_type: ACCELERATOR_TYPE_UNSPECIFIED
        accelerator_count: 0
      replica_count: 1
      container_spec:
        image_uri: ${image_uri}
  staging_bucket: [STAGING-BUCKET]
run:
  restart_job_on_worker_restart: false

Une fois votre file d’attente configurée, cliquez sur le bouton Create Queue.

Vous devez au minimum renseigner les champs suivants :

spec.worker_pool_specs : liste non vide de spécifications de pools de workers.
spec.staging_bucket : bucket GCS utilisé pour le staging des ressources et des métadonnées Vertex AI.

Certaines pages de la documentation Vertex AI présentent les spécifications de pools de workers avec toutes les clés en camel case, par exemple workerPoolSpecs. Le SDK Python de Vertex AI utilise quant à lui le snake case pour ces clés, par exemple worker_pool_specs.Toutes les clés de la configuration de la file d’attente Launch doivent être en snake case.

Configurer un agent Launch

Une fois la file d’attente créée, configurez un agent Launch chargé d’interroger la file d’attente et de distribuer les jobs vers Vertex AI. L’agent Launch se configure au moyen d’un fichier de configuration situé par défaut dans ~/.config/wandb/launch-config.yaml.

max_jobs: [N-CONCURRENT-JOBS]
queues:
  - [QUEUE-NAME]

Si vous souhaitez que l’agent Launch génère pour vous des images destinées à être exécutées dans Vertex AI, consultez Configuration avancée de l’agent.

Configurer les autorisations de l’agent

Enfin, fournissez à l’agent Launch les identifiants dont il a besoin pour agir en tant que compte de service que vous avez créé dans les prérequis. Il existe plusieurs méthodes pour s’authentifier avec ce compte de service. Vous pouvez vous authentifier via Workload Identity, un fichier JSON de compte de service téléchargé, des variables d’environnement, l’outil en ligne de commande de Google Cloud Platform, ou une combinaison de ces méthodes.

​Prérequis

​Configurer une file d’attente pour Vertex AI

​Créer une file d’attente

​Configurer un agent Launch

​Configurer les autorisations de l’agent

Prérequis

Configurer une file d’attente pour Vertex AI

Créer une file d’attente

Configurer un agent Launch

Configurer les autorisations de l’agent