Hugging Face Accelerate

Hugging Face Accelerate est une bibliothèque qui permet d’exécuter le même code PyTorch sur n’importe quelle configuration distribuée, afin de simplifier l’entraînement et l’inférence de modèles à grande échelle. Accelerate intègre un suivi W&B. Cette page explique comment l’utiliser pour journaliser dans Weights & Biases les métriques, la configuration et les artifacts de vos runs d’entraînement distribué. Pour plus d’informations, voir Accelerate Trackers in Hugging Face.

Commencer la journalisation avec Accelerate

Cette section explique comment configurer Accelerate pour journaliser les données d’expérience dans Weights & Biases pendant l’entraînement. Pour commencer à utiliser Accelerate avec Weights & Biases, suivez ce pseudocode :

from accelerate import Accelerator

# Indiquer à l’objet Accelerator de journaliser avec wandb
accelerator = Accelerator(log_with="wandb")

# Initialiser votre run wandb en transmettant les paramètres wandb et toute information de configuration
accelerator.init_trackers(
    project_name="my_project", 
    config={"dropout": 0.1, "learning_rate": 1e-2},
    init_kwargs={"wandb": {"entity": "my-wandb-team"}}
    )

...

# Journaliser dans wandb en appelant accelerator.log() ; step est facultatif
accelerator.log({"train_loss": 1.12, "valid_loss": 0.8}, step=global_step)


# Vérifier que le suivi wandb se termine correctement
accelerator.end_training()

Plus en détail :

Passez log_with="wandb" lors de l’initialisation de la classe Accelerator.
Appelez la méthode init_trackers en lui transmettant :
- Un nom de projet via project_name.
- Les paramètres que vous souhaitez transmettre à wandb.init(), sous forme de dictionnaire imbriqué, via init_kwargs.
- Toute autre information de configuration de l’expérience que vous souhaitez journaliser dans votre run wandb, via config.
Utilisez la méthode wandb.Run.log() pour journaliser dans Weights & Biases. L’argument step est facultatif.
Appelez .end_training() à la fin de l’entraînement.

Accéder au suivi W&B

Une fois qu’Accelerate journalise dans Weights & Biases, vous pouvez avoir besoin d’accéder directement à l’objet run W&B sous-jacent pour journaliser des artifacts, des graphiques personnalisés ou d’autres données que le suivi n’expose pas. Pour accéder au suivi W&B, utilisez la méthode Accelerator.get_tracker(). Transmettez-lui la chaîne correspondant à l’attribut .name d’un suivi : la méthode renvoie alors ce suivi sur le processus main.

wandb_tracker = accelerator.get_tracker("wandb")

Vous pouvez ensuite interagir avec l’objet run wandb comme vous le feriez normalement :

wandb_tracker.log_artifact(some_artifact_to_log)

Les suivis intégrés à Accelerate s’exécutent automatiquement sur le bon processus : si un suivi ne doit s’exécuter que sur le processus principal, c’est donc le cas automatiquement.Pour supprimer entièrement l’encapsulation d’Accelerate, vous pouvez obtenir le même résultat avec :

wandb_tracker = accelerator.get_tracker("wandb", unwrap=True)
with accelerator.on_main_process:
    wandb_tracker.log_artifact(some_artifact_to_log)

Articles sur Accelerate

Pour un guide pas à pas plus approfondi sur l’utilisation d’Accelerate avec Weights & Biases, consultez l’article suivant.

Weights & Biases

Guides

Intégrations

Référence

Assistance

Commencer la journalisation avec Accelerate

Accéder au suivi W&B

Articles sur Accelerate

​Commencer la journalisation avec Accelerate

​Accéder au suivi W&B

​Articles sur Accelerate

Commencer la journalisation avec Accelerate

Accéder au suivi W&B

Articles sur Accelerate