Fine-tuning OpenAI - CoreWeave Docs

Cette page vous explique comment journaliser dans W&B les métriques et la configuration de fine-tuning de votre modèle OpenAI GPT-3.5 ou GPT-4. En intégrant W&B à l’API de fine-tuning d’OpenAI, vous pouvez suivre vos expériences de fine-tuning, vos modèles et vos datasets au même endroit, et partager les résultats avec vos collègues. Utilisez cette intégration lorsque vous effectuez le fine-tuning de modèles OpenAI et que vous souhaitez centraliser le suivi des expériences et gérer les versions des données d’entraînement et des modèles obtenus.

Consultez la documentation OpenAI pour obtenir la liste des modèles qui prennent en charge le fine-tuning.

Consultez la section W&B Integration de la documentation OpenAI pour en savoir plus sur l’intégration de W&B à OpenAI pour le fine-tuning.

Installer ou mettre à jour l’API Python OpenAI

Avant de synchroniser les résultats de fine-tuning, vérifiez qu’une version compatible du client Python OpenAI est installée. L’intégration W&B pour le fine-tuning OpenAI fonctionne avec la version 1.0 ou ultérieure d’OpenAI. Voir la documentation PyPI pour connaître la dernière version de la bibliothèque API Python OpenAI. Pour installer l’API Python OpenAI, exécutez :

pip install openai

Si l’API Python OpenAI est déjà installée, mettez-la à jour avec la commande suivante :

pip install -U openai

Synchroniser les résultats de votre fine-tuning OpenAI

Cette section explique comment envoyer vers W&B les métriques et la configuration d’un job de fine-tuning OpenAI, afin de les comparer à vos autres expériences. Pour ce faire, utilisez la classe WandbLogger du module wandb.integration.openai.fine_tuning.

from wandb.integration.openai.fine_tuning import WandbLogger

# Logique de fine-tuning

WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)

Fonctionnalité d’analyse automatique OpenAI

Synchroniser vos opérations consistant à effectuer le fine-tuning

Synchronisez vos résultats depuis votre script. L’exemple suivant présente à la fois l’appel minimal en une seule ligne et l’ensemble complet des paramètres facultatifs que vous pouvez transmettre pour contrôler le comportement de la synchronisation.

from wandb.integration.openai.fine_tuning import WandbLogger

# commande sur une seule ligne
WandbLogger.sync()

# avec des paramètres facultatifs
WandbLogger.sync(
    fine_tune_job_id=None,
    num_fine_tunes=None,
    project="OpenAI-Fine-Tune",
    entity=None,
    overwrite=False,
    model_artifact_name="model-metadata",
    model_artifact_type="model",
    **kwargs_wandb_init
)

Référence

Le tableau suivant décrit chaque argument accepté par WandbLogger.sync.

Argument	Description
`fine_tune_job_id`	L’ID OpenAI de l’opération consistant à effectuer le fine-tuning que vous obtenez lorsque vous créez votre job pour effectuer le fine-tuning avec `client.fine_tuning.jobs.create`. Si cet argument vaut `None` (valeur par défaut), W&B synchronise tous les jobs OpenAI pour effectuer le fine-tuning qui n’ont pas encore été synchronisés.
`openai_client`	Client OpenAI initialisé à transmettre à `sync`. Si vous ne fournissez pas de client, le logger en initialise un. La valeur par défaut est `None`.
`num_fine_tunes`	Si vous ne fournissez pas d’ID, W&B journalise toutes les opérations consistant à effectuer le fine-tuning non synchronisées. Cet argument vous permet de choisir le nombre d’opérations récentes consistant à effectuer le fine-tuning à synchroniser. Si `num_fine_tunes` vaut 5, W&B sélectionne les 5 opérations consistant à effectuer le fine-tuning les plus récentes.
`project`	Nom du projet W&B dans lequel W&B journalise vos métriques obtenues en effectuant le fine-tuning, vos modèles, vos données, etc. Par défaut, le nom du projet est `"OpenAI-Fine-Tune"`.
`entity`	Nom d’utilisateur ou nom d’équipe W&B auquel vous envoyez les runs. Par défaut, W&B utilise votre entity par défaut, qui correspond généralement à votre nom d’utilisateur.
`overwrite`	Force la journalisation et écrase le run `wandb` existant associé au même job pour effectuer le fine-tuning. La valeur par défaut est `False`.
`wait_for_job_success`	Un job de fine-tuning OpenAI met un certain temps à s’exécuter une fois lancé. Pour que W&B journalise vos métriques dès la fin du job pour effectuer le fine-tuning, ce paramètre vérifie toutes les 60 secondes si le statut du job est passé à `succeeded`. Une fois le job pour effectuer le fine-tuning réussi, W&B synchronise automatiquement les métriques. La valeur par défaut est `True`.
`model_artifact_name`	Nom de l’artifact de modèle journalisé. Valeur par défaut : `"model-metadata"`.
`model_artifact_type`	Type de l’artifact de modèle journalisé. Valeur par défaut : `"model"`.
`**kwargs_wandb_init`	Tout argument supplémentaire transmis directement à `wandb.init()`.

Gestion des versions et visualisation des datasets

Lorsque vous synchronisez un job de fine-tuning, W&B capture également les données d’entraînement et de validation afin que vous puissiez en gérer les versions et les explorer de manière interactive. Les sous-sections suivantes décrivent les éléments que W&B suit et comment les consulter.

Gestion des versions

Les données d’entraînement et de validation que vous téléversez sur OpenAI pour le fine-tuning sont automatiquement journalisées en tant que W&B Artifacts, ce qui facilite la gestion des versions. L’image suivante montre le fichier d’entraînement dans Artifacts. Vous pouvez y voir le run W&B qui a journalisé ce fichier, la date de journalisation, la version du dataset, les métadonnées, ainsi que la traçabilité DAG, des données d’entraînement jusqu’au modèle entraîné.

W&B Artifacts avec des jeux de données d’entraînement

Visualisation

W&B présente les datasets sous forme de tableaux W&B, ce qui vous permet d’explorer le dataset, d’y effectuer des recherches et d’interagir avec lui. L’image suivante montre des échantillons d’entraînement visualisés dans des tableaux W&B.

Le modèle affiné et la gestion des versions du modèle

OpenAI n’expose pas les poids sous-jacents d’un modèle affiné. W&B suit donc le modèle en capturant ses métadonnées. OpenAI vous fournit l’ID du modèle affiné. Comme vous n’avez pas accès aux poids du modèle, le WandbLogger crée un fichier model_metadata.json qui regroupe tous les détails du modèle (hyperparamètres, ID des fichiers de données, etc.) ainsi que l’ID fine_tuned_model, puis le journalise en tant qu’artifact W&B. Vous pouvez lier cet artifact de modèle (métadonnées) à un modèle du registre.

Questions fréquentes

Les sections suivantes répondent aux questions fréquentes sur le partage, l’organisation et la récupération des runs de fine-tuning synchronisés depuis OpenAI. Pour journaliser vos jobs pour effectuer le fine-tuning dans le compte de votre équipe, utilisez :

WandbLogger.sync(entity="<your-team-name>")

Organiser vos runs

W&B organise automatiquement vos runs. Vous pouvez les filtrer et les trier selon n’importe quel paramètre de configuration, comme le type de job, le modèle de base, le taux d’apprentissage, le nom du fichier d’entraînement ou tout autre hyperparamètre. Vous pouvez également renommer vos runs, y ajouter des notes ou créer des tags pour les regrouper. Une fois le résultat satisfaisant, enregistrez votre workspace et utilisez-le pour créer un rapport en y important les données de vos runs et de vos artifacts enregistrés (fichiers d’entraînement et de validation).

Accéder à votre modèle sur lequel le fine-tuning a été effectué

W&B journalise l’ID du modèle sur lequel le fine-tuning a été effectué sous forme d’artifacts (model_metadata.json) et dans la configuration.

import wandb
    
with wandb.init(project="OpenAI-Fine-Tune", entity="<your-team-name>") as run:
    ft_artifact = run.use_artifact("<entity>/<project>/model_metadata:<version>")
    artifact_dir = ft_artifact.download()

L’espace réservé <version> correspond à l’une des valeurs suivantes :

Un numéro de version, par exemple v2.
L’ID de l’opération consistant à effectuer le fine-tuning, par exemple ft-xxxxxxxxx.
Un alias ajouté automatiquement, comme latest, ou manuellement.

Vous pouvez ensuite obtenir l’ID fine_tuned_model en lisant le fichier model_metadata.json téléchargé.

Récupérer une opération consistant à effectuer le fine-tuning qui n’a pas été synchronisée

Si une opération consistant à effectuer le fine-tuning n’a pas été correctement journalisée dans W&B, utilisez overwrite=True et transmettez l’ID du job pour effectuer le fine-tuning :

WandbLogger.sync(
    fine_tune_job_id="<fine-tune-job-id>",
    overwrite=True,
)

Suivre les datasets et les modèles avec W&B

W&B journalise automatiquement les données d’entraînement et de validation sous forme d’artifacts. W&B journalise également les métadonnées, notamment l’ID du modèle affiné, sous forme d’artifacts. Vous pouvez également piloter le pipeline à l’aide des API wandb de bas niveau, comme wandb.Artifact, wandb.Run.log, etc. Vous bénéficiez ainsi d’une traçabilité complète de vos données et de vos modèles.

Ressources

Pour approfondir le sujet et découvrir des exemples de bout en bout, consultez les ressources suivantes.

Documentation OpenAI sur le fine-tuning, pour des conseils et astuces détaillés.
Colab de démonstration.
Rapport How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W&B.

​Installer ou mettre à jour l’API Python OpenAI

​Synchroniser les résultats de votre fine-tuning OpenAI

​Synchroniser vos opérations consistant à effectuer le fine-tuning

​Référence

​Gestion des versions et visualisation des datasets

​Gestion des versions

​Visualisation

​Le modèle affiné et la gestion des versions du modèle

​Questions fréquentes

​Partager les résultats obtenus en effectuant le fine-tuning avec votre équipe

​Organiser vos runs

​Accéder à votre modèle sur lequel le fine-tuning a été effectué

​Récupérer une opération consistant à effectuer le fine-tuning qui n’a pas été synchronisée

​Suivre les datasets et les modèles avec W&B

​Ressources

Installer ou mettre à jour l’API Python OpenAI

Synchroniser les résultats de votre fine-tuning OpenAI

Synchroniser vos opérations consistant à effectuer le fine-tuning

Référence

Gestion des versions et visualisation des datasets

Gestion des versions

Visualisation

Le modèle affiné et la gestion des versions du modèle

Questions fréquentes

Partager les résultats obtenus en effectuant le fine-tuning avec votre équipe

Organiser vos runs

Accéder à votre modèle sur lequel le fine-tuning a été effectué

Récupérer une opération consistant à effectuer le fine-tuning qui n’a pas été synchronisée

Suivre les datasets et les modèles avec W&B

Ressources