Exigences d’infrastructure pour le déploiement autogéré

Cette page décrit les exigences en matière d’infrastructure et de logiciels pour le déploiement de W&B autogéré. Elle s’adresse aux ingénieurs plateforme et infrastructure qui planifient une installation autogérée. Consultez ces exigences avant de commencer votre déploiement afin de vérifier que votre environnement peut prendre en charge le serveur W&B.

W&B recommande les options de déploiement entièrement gérées, telles que les types de déploiement W&B Cloud mutualisé ou W&B Cloud dédié. Les services entièrement gérés de W&B sont simples à utiliser et sécurisés, et ne nécessitent que peu, voire pas, de configuration.

Pour des recommandations complètes en matière d’architecture, consultez l’architecture de référence.

Exigences relatives aux versions logicielles

Logiciel	Version minimale
Kubernetes	v1.34 ou ultérieure (Versions de Kubernetes prises en charge)
Helm	v3.x
MySQL	Les déploiements W&B autogérés doivent exécuter une version de MySQL prise en charge qui bénéficie des patchs de sécurité et des corrections de bugs critiques. Installez MySQL 8.4.x ou effectuez une mise à niveau vers cette version, ou utilisez une version de service managé que votre fournisseur indique comme prise en charge et maintenue à jour. Les chaînes de version d’Aurora MySQL diffèrent de celles des versions communautaires de MySQL. Utilisez `SELECT version()` pour afficher la chaîne de version complète du moteur et `SELECT aurora_version()` pour afficher la version d’Aurora. Aurora MySQL version 3 est compatible avec MySQL 8.0.x et reste prise en charge. Pour choisir une version cible, consultez Gestion des versions d’Amazon Aurora ainsi que la documentation de votre fournisseur de cloud.
Redis	v7.x
ClickHouse	Requis pour Weave sur les déploiements autogérés. Non requis si votre déploiement n’utilise pas Weave. Voir Compatibilité de ClickHouse pour les mises à niveau et Versions du serveur W&B prises en charge.

Exigences matérielles

Architecture CPU : W&B fonctionne uniquement sur une architecture CPU Intel (x86). ARM n’est pas pris en charge. Dimensionnement : pour connaître les recommandations de dimensionnement du CPU, de la mémoire et du disque des nœuds Kubernetes et de MySQL, consultez la section Dimensionnement de l’architecture de référence. Les exigences varient selon que vous exécutez Models, Weave ou les deux. Pour obtenir des recommandations de dimensionnement détaillées basées sur votre cas d’usage (Models uniquement, Weave uniquement ou les deux), consultez la section Dimensionnement de l’architecture de référence.

Kubernetes

Le serveur W&B est déployé sous la forme d’un opérateur Kubernetes qui gère plusieurs pods. Votre cluster Kubernetes doit répondre aux exigences suivantes :

Version : voir la section Exigences relatives aux versions logicielles ci-dessus.
Contrôleur d’ingress : un contrôleur d’ingress entièrement configuré et opérationnel (Nginx, Istio, Traefik ou ingress d’un fournisseur de cloud).
Volumes persistants : possibilité de provisionner des volumes persistants.
Architecture CPU : Intel ou AMD 64 bits (ARM n’est pas pris en charge).

W&B prend en charge le déploiement sur des clusters Kubernetes OpenShift dans le cloud, sur site et dans des environnements isolés du réseau. Pour les instructions de configuration propres à OpenShift, consultez la section OpenShift du guide de l’opérateur. Pour connaître l’ensemble des exigences relatives à Kubernetes, notamment la configuration de l’équilibreur de charge et de l’ingress, consultez la section Kubernetes de l’architecture de référence.

Base de données MySQL

W&B nécessite une base de données MySQL externe. En production, W&B recommande d’utiliser des services de base de données managés :

Les services de base de données managés fournissent des sauvegardes automatisées, la surveillance, la haute disponibilité et le patching, tout en réduisant la charge opérationnelle. Consultez l’architecture de référence pour connaître les exigences relatives à MySQL, notamment les recommandations de dimensionnement et les paramètres de configuration. Pour obtenir le code SQL permettant de créer la base de données, consultez le guide bare-metal. Pour toute question concernant la configuration de la base de données de votre déploiement, contactez l’assistance ou votre AISE. Pour les déploiements en production, W&B recommande d’utiliser des services de base de données managés tels qu’AWS RDS Aurora MySQL, Google Cloud SQL for MySQL ou Azure Database for MySQL. Les services managés fournissent des sauvegardes automatisées, la surveillance, la haute disponibilité et le patching, tout en simplifiant l’exploitation.

Paramètres de configuration de MySQL

Si vous exécutez votre propre instance MySQL, configurez MySQL avec les paramètres suivants pour garantir la compatibilité avec le serveur W&B :

binlog_format = 'ROW'
binlog_row_image = 'MINIMAL'
innodb_flush_log_at_trx_commit = 1
innodb_online_alter_log_max_size = 268435456
max_prepared_stmt_count = 1048576
sort_buffer_size = '67108864'
sync_binlog = 1

W&B a validé ces paramètres du point de vue des performances et de la fiabilité.

Création de la base de données

Si vous n’utilisez pas de service MySQL géré qui provisionne automatiquement la base de données, suivez ces instructions pour créer manuellement la base de données MySQL et l’utilisateur utilisés par le serveur W&B : Créez une base de données et un utilisateur à l’aide des commandes SQL suivantes. Remplacez [PASSWORD] par un mot de passe sécurisé :

CREATE USER 'wandb_local'@'%' IDENTIFIED BY '[PASSWORD]';
CREATE DATABASE wandb_local CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
GRANT ALL ON wandb_local.* TO 'wandb_local'@'%' WITH GRANT OPTION;

Pour d’autres considérations, notamment en matière de sauvegardes, de performances, de surveillance et de disponibilité, consultez la section MySQL de l’architecture de référence.

Redis

Le serveur W&B utilise Redis pour la mise en cache et la coordination des tâches en arrière-plan. W&B repose sur un déploiement Redis 7.x à nœud unique, que les composants de W&B utilisent pour la mise en file d’attente des jobs et la mise en cache des données. Pour les tests et les preuves de concept, W&B autogéré inclut un déploiement Redis local. Ce déploiement intégré n’est pas adapté à une utilisation en production. Pour les déploiements en production, W&B peut se connecter à une instance Redis dans les environnements suivants :

Amazon ElastiCache
Google Cloud Memorystore
Azure Cache for Redis
Redis auto-hébergé dans votre infrastructure cloud ou sur site

W&B peut se connecter à une instance Redis dans l’un des environnements suivants :

AWS Elasticache.
Google Cloud Memory Store.
Azure Cache for Redis.
Un déploiement Redis hébergé dans votre cloud ou sur votre infrastructure sur site.

ClickHouse

Dans les déploiements autogérés, W&B Weave utilise ClickHouse. ClickHouse n’est pas requis pour toutes les installations autogérées. Avant de mettre à niveau le serveur W&B ou de modifier votre version de ClickHouse, consultez la section Compatibilité de ClickHouse pour les mises à niveau du guide de l’opérateur, ainsi que les notes de compatibilité de la page Versions du serveur W&B prises en charge. Pour connaître les procédures de déploiement, consultez Déployer Weave dans un environnement autogéré.

Stockage d’objets

Le serveur W&B a besoin d’un bucket de stockage d’objets pour stocker les artifacts, les médias et les données des runs. W&B nécessite un stockage d’objets prenant en charge les URL pré-signées et CORS. W&B recommande les fournisseurs de stockage suivants :

Amazon S3 : service de stockage d’objets offrant évolutivité, disponibilité des données, sécurité et performances.
Google Cloud Storage : service géré de stockage de données non structurées à grande échelle.
Azure Blob Storage : stockage d’objets dans le cloud pour les données non structurées à grande échelle.
CoreWeave AI Object Storage : stockage d’objets compatible S3, optimisé pour les charges de travail d’IA.
Stockage d’entreprise compatible S3, tel que MinIO Enterprise (AIStor), NetApp StorageGRID ou d’autres solutions d’entreprise.

MinIO Open Source est en mode maintenance : il ne fait plus l’objet d’un développement actif et aucun binaire précompilé n’est fourni. Pour les déploiements en production, W&B recommande des services de stockage d’objets gérés ou des solutions d’entreprise compatibles S3, telles que MinIO Enterprise (AIStor).

Après avoir choisi un fournisseur, configurez le bucket pour que W&B puisse y accéder. Pour obtenir des instructions détaillées sur le provisionnement du bucket, notamment les stratégies IAM, la configuration CORS et la configuration des accès, consultez le guide Bring Your Own Bucket (BYOB). Pour la liste complète des exigences relatives au stockage d’objets, y compris les recommandations en matière de capacité et de performances, consultez la section consacrée au stockage d’objets dans l’architecture de référence.

Provisionner votre bucket de stockage

Avant de configurer W&B, vous devez provisionner votre bucket de stockage d’objets avec les stratégies IAM, la configuration CORS et les identifiants d’authentification requis. Consultez le guide Bring Your Own Bucket (BYOB) pour obtenir des instructions de provisionnement détaillées, étape par étape, pour :

Amazon S3 (y compris les stratégies IAM et les stratégies de bucket)
Google Cloud Storage (y compris les notifications PubSub)
Azure Blob Storage (y compris les identités managées)
CoreWeave AI Object Storage
Stockage compatible S3 (MinIO Enterprise, NetApp StorageGRID et autres solutions d’entreprise)

Configurer W&B pour utiliser votre bucket

Après avoir provisionné votre bucket, vous devez configurer W&B pour qu’il l’utilise, au moyen des valeurs Helm de l’opérateur, afin que le serveur W&B puisse lire et écrire dans le bucket. Pour plus de détails, voir la section sur la configuration du stockage d’objets de l’opérateur.

Réseau

La configuration réseau rend le serveur W&B accessible aux utilisateurs et aux charges de travail de machine learning. Les sections suivantes décrivent les exigences relatives au DNS, à l’équilibreur de charge et à l’ingress. Pour un déploiement connecté au réseau, autorisez le trafic sortant vers les points de terminaison suivants, aussi bien pendant l’installation que pendant l’exécution :

https://deploy.wandb.ai
https://charts.wandb.ai
https://quay.io (utilisé pour les images Prometheus)

Selon la configuration de votre déploiement, d’autres registres de conteneurs peuvent être nécessaires :

https://gcr.io si vous déployez Bufstream et etcd pour les évaluations en ligne de Weave.

Pour en savoir plus sur les déploiements isolés du réseau, consultez Opérateur Kubernetes pour les instances isolées du réseau. Accordez à l’infrastructure d’entraînement et à chaque système de suivi des expériences l’accès à W&B et au stockage d’objets.

DNS

Le nom de domaine complet (FQDN) du déploiement W&B doit être résolu en l’adresse IP de l’ingress ou de l’équilibreur de charge au moyen d’un enregistrement A.

Équilibreur de charge et ingress

L’opérateur Kubernetes W&B expose les services à l’aide d’un contrôleur d’ingress Kubernetes, qui achemine le trafic vers les points de terminaison des services en fonction des chemins d’URL. Le contrôleur d’ingress doit être accessible depuis toutes les machines qui exécutent des charges de travail de machine learning ou qui accèdent au service depuis un navigateur web. Pour en savoir plus sur les options d’équilibreur de charge, les exigences relatives au contrôleur d’ingress et des exemples de configuration, consultez la section consacrée à l’équilibreur de charge dans l’architecture de référence.

SSL/TLS

W&B nécessite un certificat SSL/TLS valide et signé pour sécuriser les communications entre les clients et le serveur. La terminaison SSL/TLS doit être effectuée au niveau de l’ingress ou de l’équilibreur de charge. L’application serveur W&B n’assure pas la terminaison des connexions SSL ou TLS.

W&B ne prend pas en charge les certificats autosignés ni les autorités de certification (CA) personnalisées. Les certificats autosignés posent des problèmes aux utilisateurs et ne sont pas pris en charge.

Dans la mesure du possible, utilisez un service comme Let’s Encrypt pour fournir des certificats de confiance à votre équilibreur de charge. Des services comme Caddy et Cloudflare gèrent le SSL pour vous. Si vos politiques de sécurité exigent des communications SSL au sein de vos réseaux de confiance, envisagez d’utiliser un outil comme Istio avec des conteneurs sidecar.

Licence

Tous les déploiements autogérés nécessitent une licence valide pour le serveur W&B. Sans licence, le serveur W&B ne peut pas démarrer. Vous avez besoin d’une licence W&B pour déployer W&B autogéré. Cette procédure explique comment en obtenir une.

Si vous n’avez pas encore de compte W&B, créez-en un.
Si vous avez besoin d’une licence d’essai entreprise, soumettez une requête ou contactez votre équipe W&B. Une licence d’essai entreprise inclut la prise en charge de fonctionnalités de sécurité essentielles, ainsi que d’autres fonctionnalités pensées pour les entreprises.
Sinon, ouvrez le Deploy Manager pour générer une licence d’essai gratuite. L’URL vous redirige vers un formulaire Get a License for W&B Local. Fournissez les informations suivantes :
- Le propriétaire de la licence.
- Le type de déploiement.
- Un nom et une description facultative pour l’instance.
Cliquez sur Generate License Key.

Une page s’affiche avec un aperçu de votre déploiement et de la licence associée.

Étapes suivantes

Après avoir vérifié que votre infrastructure répond à ces exigences, passez au guide de déploiement adapté à votre environnement :

Déploiements cloud et sur site : consultez Déployer W&B avec l’opérateur Kubernetes pour les options de déploiement avec Helm et Terraform.
Déploiements isolés du réseau : consultez Déployer sur Kubernetes isolé du réseau pour les environnements déconnectés.
Toutes les méthodes de déploiement : consultez Déployer avec l’opérateur Kubernetes, le guide de référence pour le déploiement de l’opérateur.

​Exigences relatives aux versions logicielles

​Exigences matérielles

​Kubernetes

​Base de données MySQL

​Paramètres de configuration de MySQL

​Création de la base de données

​Redis

​ClickHouse

​Stockage d’objets

​Provisionner votre bucket de stockage

​Configurer W&B pour utiliser votre bucket

​Réseau

​DNS

​Équilibreur de charge et ingress

​SSL/TLS

​Licence

​Étapes suivantes

Exigences relatives aux versions logicielles

Exigences matérielles

Kubernetes

Base de données MySQL

Paramètres de configuration de MySQL

Création de la base de données

Redis

ClickHouse

Stockage d’objets

Provisionner votre bucket de stockage

Configurer W&B pour utiliser votre bucket

Réseau

DNS

Équilibreur de charge et ingress

SSL/TLS

Licence

Étapes suivantes