> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
> Effectuez le fine-tuning de modèles OpenAI avec W&B pour journaliser les métriques d’entraînement, surveiller vos jobs et comparer les performances des modèles au fil du temps.
# Fine-tuning OpenAI
export const ColabLink = ({url}) =>
Try in Colab
;
Cette page vous explique comment journaliser dans W\&B les métriques et la configuration de fine-tuning de votre modèle OpenAI GPT-3.5 ou GPT-4. En intégrant W\&B à l'API de fine-tuning d'OpenAI, vous pouvez suivre vos expériences de fine-tuning, vos modèles et vos datasets au même endroit, et partager les résultats avec vos collègues. Utilisez cette intégration lorsque vous effectuez le fine-tuning de modèles OpenAI et que vous souhaitez centraliser le suivi des expériences et gérer les versions des données d'entraînement et des modèles obtenus.
Consultez la [documentation OpenAI](https://platform.openai.com/docs/guides/fine-tuning/which-models-can-be-fine-tuned) pour obtenir la liste des modèles qui prennent en charge le fine-tuning.
Consultez la section [W\&B Integration](https://developers.openai.com/cookbook/examples/third_party/gpt_finetuning_with_wandb) de la documentation OpenAI pour en savoir plus sur l'intégration de W\&B à OpenAI pour le fine-tuning.
Installer ou mettre à jour l’API Python OpenAI
Avant de synchroniser les résultats de fine-tuning, vérifiez qu’une version compatible du client Python OpenAI est installée. L’intégration W\&B pour le fine-tuning OpenAI fonctionne avec la version 1.0 ou ultérieure d’OpenAI. Voir la documentation PyPI pour connaître la dernière version de la bibliothèque [API Python OpenAI](https://pypi.org/project/openai/).
Pour installer l’API Python OpenAI, exécutez :
```bash theme={"system"}
pip install openai
```
Si l’API Python OpenAI est déjà installée, mettez-la à jour avec la commande suivante :
```bash theme={"system"}
pip install -U openai
```
Synchroniser les résultats de votre fine-tuning OpenAI
Cette section explique comment envoyer vers W\&B les métriques et la configuration d’un job de fine-tuning OpenAI, afin de les comparer à vos autres expériences. Pour ce faire, utilisez la classe `WandbLogger` du module `wandb.integration.openai.fine_tuning`.
```python theme={"system"}
from wandb.integration.openai.fine_tuning import WandbLogger
# Logique de fine-tuning
WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)
```
Synchroniser vos opérations consistant à effectuer le fine-tuning
Synchronisez vos résultats depuis votre script. L’exemple suivant présente à la fois l’appel minimal en une seule ligne et l’ensemble complet des paramètres facultatifs que vous pouvez transmettre pour contrôler le comportement de la synchronisation.
```python theme={"system"}
from wandb.integration.openai.fine_tuning import WandbLogger
# commande sur une seule ligne
WandbLogger.sync()
# avec des paramètres facultatifs
WandbLogger.sync(
fine_tune_job_id=None,
num_fine_tunes=None,
project="OpenAI-Fine-Tune",
entity=None,
overwrite=False,
model_artifact_name="model-metadata",
model_artifact_type="model",
**kwargs_wandb_init
)
```
Référence
Le tableau suivant décrit chaque argument accepté par `WandbLogger.sync`.
| Argument | Description |
| - | - |
| `fine_tune_job_id` | L’ID OpenAI de l’opération consistant à effectuer le fine-tuning que vous obtenez lorsque vous créez votre job pour effectuer le fine-tuning avec `client.fine_tuning.jobs.create`. Si cet argument vaut `None` (valeur par défaut), W\&B synchronise tous les jobs OpenAI pour effectuer le fine-tuning qui n’ont pas encore été synchronisés. |
| `openai_client` | Client OpenAI initialisé à transmettre à `sync`. Si vous ne fournissez pas de client, le logger en initialise un. La valeur par défaut est `None`. |
| `num_fine_tunes` | Si vous ne fournissez pas d’ID, W\&B journalise toutes les opérations consistant à effectuer le fine-tuning non synchronisées. Cet argument vous permet de choisir le nombre d’opérations récentes consistant à effectuer le fine-tuning à synchroniser. Si `num_fine_tunes` vaut 5, W\&B sélectionne les 5 opérations consistant à effectuer le fine-tuning les plus récentes. |
| `project` | Nom du projet W\&B dans lequel W\&B journalise vos métriques obtenues en effectuant le fine-tuning, vos modèles, vos données, etc. Par défaut, le nom du projet est `"OpenAI-Fine-Tune"`. |
| `entity` | Nom d’utilisateur ou nom d’équipe W\&B auquel vous envoyez les runs. Par défaut, W\&B utilise votre entity par défaut, qui correspond généralement à votre nom d’utilisateur. |
| `overwrite` | Force la journalisation et écrase le run `wandb` existant associé au même job pour effectuer le fine-tuning. La valeur par défaut est `False`. |
| `wait_for_job_success` | Un job de fine-tuning OpenAI met un certain temps à s’exécuter une fois lancé. Pour que W\&B journalise vos métriques dès la fin du job pour effectuer le fine-tuning, ce paramètre vérifie toutes les 60 secondes si le statut du job est passé à `succeeded`. Une fois le job pour effectuer le fine-tuning réussi, W\&B synchronise automatiquement les métriques. La valeur par défaut est `True`. |
| `model_artifact_name` | Nom de l’artifact de modèle journalisé. Valeur par défaut : `"model-metadata"`. |
| `model_artifact_type` | Type de l’artifact de modèle journalisé. Valeur par défaut : `"model"`. |
| `**kwargs_wandb_init` | Tout argument supplémentaire transmis directement à [`wandb.init()`](/fr/products/wandb/ref/python/functions/init). |
Gestion des versions et visualisation des datasets
Lorsque vous synchronisez un job de fine-tuning, W\&B capture également les données d’entraînement et de validation afin que vous puissiez en gérer les versions et les explorer de manière interactive. Les sous-sections suivantes décrivent les éléments que W\&B suit et comment les consulter.
Gestion des versions
Les données d’entraînement et de validation que vous téléversez sur OpenAI pour le fine-tuning sont automatiquement journalisées en tant que W\&B Artifacts, ce qui facilite la gestion des versions. L’image suivante montre le fichier d’entraînement dans Artifacts. Vous pouvez y voir le run W\&B qui a journalisé ce fichier, la date de journalisation, la version du dataset, les métadonnées, ainsi que la traçabilité DAG, des données d’entraînement jusqu’au modèle entraîné.
Visualisation
W\&B présente les datasets sous forme de tableaux W\&B, ce qui vous permet d’explorer le dataset, d’y effectuer des recherches et d’interagir avec lui. L’image suivante montre des échantillons d’entraînement visualisés dans des tableaux W\&B.
Le modèle affiné et la gestion des versions du modèle
OpenAI n’expose pas les poids sous-jacents d’un modèle affiné. W\&B suit donc le modèle en capturant ses métadonnées. OpenAI vous fournit l’ID du modèle affiné. Comme vous n’avez pas accès aux poids du modèle, le `WandbLogger` crée un fichier `model_metadata.json` qui regroupe tous les détails du modèle (hyperparamètres, ID des fichiers de données, etc.) ainsi que l’ID `fine_tuned_model`, puis le journalise en tant qu’artifact W\&B.
Vous pouvez lier cet artifact de modèle (métadonnées) à un modèle du [registre](/fr/products/registry).
Questions fréquentes
Les sections suivantes répondent aux questions fréquentes sur le partage, l’organisation et la récupération des runs de fine-tuning synchronisés depuis OpenAI.
Partager les résultats obtenus en effectuant le fine-tuning avec votre équipe
Pour journaliser vos jobs pour effectuer le fine-tuning dans le compte de votre équipe, utilisez :
```python theme={"system"}
WandbLogger.sync(entity="")
```
Organiser vos runs
W\&B organise automatiquement vos runs. Vous pouvez les filtrer et les trier selon n’importe quel paramètre de configuration, comme le type de job, le modèle de base, le taux d’apprentissage, le nom du fichier d’entraînement ou tout autre hyperparamètre.
Vous pouvez également renommer vos runs, y ajouter des notes ou créer des tags pour les regrouper.
Une fois le résultat satisfaisant, enregistrez votre workspace et utilisez-le pour créer un rapport en y important les données de vos runs et de vos artifacts enregistrés (fichiers d’entraînement et de validation).
Accéder à votre modèle sur lequel le fine-tuning a été effectué
W\&B journalise l’ID du modèle sur lequel le fine-tuning a été effectué sous forme d’artifacts (`model_metadata.json`) et dans la configuration.
```python theme={"system"}
import wandb
with wandb.init(project="OpenAI-Fine-Tune", entity="") as run:
ft_artifact = run.use_artifact("//model_metadata:")
artifact_dir = ft_artifact.download()
```
L’espace réservé `` correspond à l’une des valeurs suivantes :
* Un numéro de version, par exemple `v2`.
* L’ID de l’opération consistant à effectuer le fine-tuning, par exemple `ft-xxxxxxxxx`.
* Un alias ajouté automatiquement, comme `latest`, ou manuellement.
Vous pouvez ensuite obtenir l’ID `fine_tuned_model` en lisant le fichier `model_metadata.json` téléchargé.
Récupérer une opération consistant à effectuer le fine-tuning qui n'a pas été synchronisée
Si une opération consistant à effectuer le fine-tuning n'a pas été correctement journalisée dans W\&B, utilisez `overwrite=True` et transmettez l'ID du job pour effectuer le fine-tuning :
```python theme={"system"}
WandbLogger.sync(
fine_tune_job_id="",
overwrite=True,
)
```
Suivre les datasets et les modèles avec W\&B
W\&B journalise automatiquement les données d’entraînement et de validation sous forme d’artifacts. W\&B journalise également les métadonnées, notamment l’ID du modèle affiné, sous forme d’artifacts.
Vous pouvez également piloter le pipeline à l’aide des API `wandb` de bas niveau, comme `wandb.Artifact`, `wandb.Run.log`, etc. Vous bénéficiez ainsi d’une traçabilité complète de vos données et de vos modèles.
Ressources
Pour approfondir le sujet et découvrir des exemples de bout en bout, consultez les ressources suivantes.
* [Documentation OpenAI sur le fine-tuning](https://platform.openai.com/docs/guides/fine-tuning/), pour des conseils et astuces détaillés.
* [Colab de démonstration](https://wandb.me/openai-colab).
* Rapport [How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W\&B](https://wandb.me/openai-report).
