Journaux de la console - CoreWeave Docs

Lorsque vous exécutez une expérience, des messages peuvent s’afficher dans votre console. W&B capture les journaux de la console et les affiche dans la W&B App. Servez-vous de ces messages pour déboguer votre expérience et surveiller son comportement. Les sections suivantes expliquent comment afficher, configurer, rechercher, filtrer, télécharger et copier les journaux de la console de vos runs.

Afficher les journaux de la console

Affichez les journaux de la console d’un run dans W&B App pour examiner les messages générés pendant son exécution.

Accédez à votre projet dans W&B App.
Sélectionnez un run dans le tableau Runs.
Sélectionnez l’onglet Logs sur la page du run.
Facultatif : pour un run dont les journaux sont diffusés en continu, sélectionnez Jump to bottom afin de revenir aux journaux les plus récents après avoir fait défiler la page vers le haut.

Pendant la diffusion des journaux, une icône de points de suspension () s’affiche dans le coin supérieur droit. Une fois l’interrogation des journaux terminée, W&B remplace cette icône par un bouton de téléchargement ().

Types de journaux de console

W&B capture trois types de journaux de console et ajoute à chaque journal un préfixe qui indique sa gravité. Ce préfixe vous permet de parcourir rapidement les journaux et d’identifier les messages les plus pertinents pour le débogage. Le tableau suivant présente chaque type, du plus grave au moins grave.

Gravité	Préfixe	Description	Exemple
Erreur	`ERROR`	Problèmes graves susceptibles d’empêcher le run de se terminer correctement.	`ERROR Failed to save notebook.`
Avertissement	`WARNING`	Problèmes potentiels qui n’interrompent pas l’exécution.	`WARNING Found .wandb file, not streaming tensorboard metrics.`
Info	`wandb:`	Informations sur la progression et le statut du run.	`wandb: Starting Run: abc123`

Paramètres des journaux de console

Pour choisir les types de sortie de console que W&B capture et affiche, passez un objet wandb.Settings à wandb.init() lors de l’initialisation d’un run. Les paramètres concernés sont notamment show_errors, show_warnings, show_info et silent. La référence des paramètres répertorie tous les paramètres. Elle est générée à partir du SDK et reste donc à jour à mesure que de nouvelles options sont ajoutées. L’exemple ci-dessous active ou désactive l’affichage des messages d’information, des avertissements et des erreurs de W&B dans l’onglet Logs. Définissez silent=True pour masquer toute la sortie de console de W&B (pratique si vous souhaitez un script d’entraînement silencieux) :

import wandb

settings = wandb.Settings(
    show_errors=True,
    silent=False,
    show_warnings=True,
)

with wandb.init(settings=settings) as run:
    run.log({"accuracy": 0.95})

Pour la capture de stdout et stderr (console), les téléversements en plusieurs parties (console_multipart, console_chunk_max_bytes, console_chunk_max_seconds) et le dépannage, consultez les sections ci-dessous ainsi que la référence des paramètres. L’entraînement distribué et les autres cas limites sont traités dans Pourquoi la sortie console n’est-elle pas capturée pour mon run ?.

Journalisation multipart de la console

Par défaut, W&B stocke les sorties stdout et stderr de votre script dans un unique fichier output.log et le téléverse à la fin du run. Tant qu’un run est actif, l’onglet Logs diffuse la sortie en continu pour que vous puissiez la consulter, mais output.log n’apparaît dans l’onglet Files qu’une fois le run terminé. Activez la journalisation multipart de la console si vous avez besoin de journaux téléchargeables pendant qu’un run est encore actif, si un run risque de planter avant de se terminer, ou si vous reprenez un run et souhaitez conserver la sortie console des sessions précédentes. Définissez console_multipart=True (SDK v0.22.3 ou version ultérieure) pour que le SDK écrive des fragments horodatés dans logs/ et téléverse chaque fragment dès sa fermeture. Utilisez console_chunk_max_bytes et console_chunk_max_seconds pour contrôler le passage à un nouveau fragment ; consultez la référence des paramètres pour connaître les valeurs par défaut et le comportement lorsque les deux valent 0.

Les fragments téléversés sont immuables. Les séquences de contrôle du terminal qui modifient les lignes précédentes (par exemple, les barres de progression qui utilisent des retours chariot) n’affectent que le fragment en cours.

import wandb

with wandb.init(
    project="my-project",
    settings=wandb.Settings(
        console_multipart=True,
        console_chunk_max_bytes=1_000_000,  # nouveau fragment à ~1 Mo
        console_chunk_max_seconds=60,     # ou toutes les 60 secondes, selon la limite atteinte en premier
    ),
) as run:
    print("Logs upload in chunks while this run is active.")

Vous devez définir console_multipart lors de l’appel à wandb.init. La fréquence de téléversement ne peut plus être modifiée une fois le run démarré. Pour résoudre les problèmes (capture de la console désactivée, entraînement distribué, runs repris et limites d’affichage), consultez Pourquoi la sortie de la console n’est-elle pas capturée pour mon run ? et Comment puis-je télécharger le fichier journal de la console d’un run ?.

Journalisation personnalisée

Si vous disposez déjà de votre propre configuration de journalisation, vous pouvez continuer à l’utiliser parallèlement à W&B. W&B capture les journaux de console de votre application sans interférer avec votre configuration de journalisation. Pour journaliser des messages, vous pouvez utiliser la fonction intégrée print() de Python ou le module logging.

import wandb

with wandb.init(project="my-project") as run:
    for i in range(100, 1000, 100):
        # Journalise dans W&B et affiche dans la console
        run.log({"epoch": i, "loss": 0.1 * i})
        print(f"epoch: {i} loss: {0.1 * i}")

Les journaux de la console ressemblent à ceci :

epoch:  100 loss: 1.3191105127334595
epoch:  200 loss: 0.8664389848709106
epoch:  300 loss: 0.6157898902893066
epoch:  400 loss: 0.4961796700954437
epoch:  500 loss: 0.42592573165893555
epoch:  600 loss: 0.3771176040172577
epoch:  700 loss: 0.3393910825252533
epoch:  800 loss: 0.3082585036754608
epoch:  900 loss: 0.28154927492141724

Horodatages

W&B ajoute automatiquement un horodatage à chaque entrée des journaux de la console. Vous pouvez ainsi savoir à quel moment chaque message de journal a été généré. Pour afficher ou masquer les horodatages dans les journaux de la console, sélectionnez la liste déroulante Timestamp visible sur la page des journaux de la console.

Rechercher dans les journaux de la console

Utilisez la barre de recherche de la page des journaux de la console pour trouver un texte précis, comme des étiquettes, des mots-clés ou des messages d’erreur. W&B met à jour le nombre de correspondances au fur et à mesure que de nouveaux journaux arrivent.

Filtrer avec des étiquettes personnalisées

Les paramètres préfixés par x_ (comme x_label) sont en préversion publique. Pour nous faire part de vos commentaires, créez une issue GitHub dans le dépôt W&B.

Vous pouvez filtrer les journaux de console en fonction des étiquettes que vous transmettez comme arguments à x_label dans wandb.Settings. Saisissez l’étiquette dans la barre de recherche de la page des journaux de console.

import wandb

# Initialiser un run sur le nœud principal
with wandb.init(
    entity="[ENTITY-NAME]",
    project="[PROJECT-NAME]",
    settings=wandb.Settings(
        x_label="[CUSTOM-LABEL]"  # (Facultatif) Étiquette personnalisée pour filtrer les logs
    )
) as run:
    # Votre code ici

Télécharger les journaux de console

Pour enregistrer les journaux en local afin de les analyser hors ligne ou de les partager, téléchargez les journaux de console d’un run dans la W&B App :

Accédez à votre projet dans la W&B App.
Sélectionnez un run dans le tableau Runs.
Cliquez sur l’onglet Logs dans la barre latérale du projet.
Cliquez sur le bouton de téléchargement du fichier journal () sur la page des journaux de console.

Il se peut que le téléchargement des journaux soit temporairement indisponible pendant qu’un run les diffuse en continu. Pendant la diffusion, W&B remplace le bouton de téléchargement par une icône de points de suspension (). Attendez que le run se termine ou que la diffusion s’arrête, puis réessayez.

Copier les journaux de la console

Pour coller des journaux dans un autre outil ou dans un message, copiez les journaux de la console d’un run depuis la W&B App :

Accédez à votre projet dans la W&B App.
Sélectionnez un run dans le tableau Runs.
Cliquez sur l’onglet Logs dans la barre latérale du projet.
Sur la page des journaux de la console, cliquez sur le bouton de copie.

​Afficher les journaux de la console

​Types de journaux de console

​Paramètres des journaux de console

​Journalisation multipart de la console

​Journalisation personnalisée

​Horodatages

​Rechercher dans les journaux de la console

​Filtrer avec des étiquettes personnalisées

​Télécharger les journaux de console

​Copier les journaux de la console

Afficher les journaux de la console

Types de journaux de console

Paramètres des journaux de console

Journalisation multipart de la console

Journalisation personnalisée

Horodatages

Rechercher dans les journaux de la console

Filtrer avec des étiquettes personnalisées

Télécharger les journaux de console

Copier les journaux de la console