val_loss). Une corrélation élevée signifie que plus la valeur de l’hyperparamètre est élevée, plus celle de la métrique l’est aussi, et inversement. La corrélation est une métrique utile, mais elle ne permet pas de capturer les interactions de second ordre entre les entrées, et elle peut devenir difficile à interpréter lorsque vous comparez des entrées dont les plages de valeurs diffèrent.
W&B calcule également une métrique d’importance. Pour cela, W&B entraîne une forêt aléatoire avec les hyperparamètres comme entrées et la métrique comme sortie cible, puis indique les valeurs d’importance des variables de cette forêt aléatoire.
Cette technique s’inspire d’une conversation avec Jeremy Howard. Chez Fast.ai, Jeremy a été le premier à utiliser l’importance des variables issue des forêts aléatoires pour explorer les espaces d’hyperparamètres. Pour en savoir plus sur les motivations de cette analyse, consultez le cours de la leçon 4 de Fast.ai et les notes du forum sur la leçon 4 de Fast.ai.
Le panneau d’importance des hyperparamètres démêle les interactions complexes entre des hyperparamètres fortement corrélés. Il vous aide ainsi à affiner vos recherches d’hyperparamètres en vous montrant ceux qui comptent le plus pour prédire les performances du modèle.
Créer un panneau d’importance des hyperparamètres
Pour ajouter un panneau d’importance des hyperparamètres à votre workspace :- Accédez à votre projet W&B.
- Cliquez sur le bouton Add panels.
- Développez le menu déroulant CHARTS, puis choisissez Parallel coordinates.
Si un panneau vide s’affiche, assurez-vous que vos runs ne sont pas regroupés.
Interpréter un panneau d’importance des hyperparamètres
Les sections suivantes expliquent comment lire les valeurs d’importance et de corrélation affichées dans le panneau, afin que vous puissiez en tirer parti lors de votre prochain sweep.
wandb.Run.config dans votre script d’entraînement. Il indique également l’importance des variables et les corrélations de ces paramètres de configuration par rapport à la métrique du modèle que vous sélectionnez (ici, val_loss).
Importance
La colonne d’importance indique dans quelle mesure chaque hyperparamètre a contribué à prédire la métrique choisie. Imaginez que vous commenciez à ajuster de nombreux hyperparamètres et que vous utilisiez ce graphique pour cibler ceux qui méritent d’être explorés davantage. Vous pouvez ensuite limiter les sweeps suivants aux hyperparamètres les plus importants, ce qui vous permet de trouver un meilleur modèle plus rapidement et à moindre coût.W&B calcule les importances à l’aide d’un modèle à base d’arbres plutôt que d’un modèle linéaire, car les modèles à base d’arbres tolèrent mieux les données catégorielles comme les données non normalisées.
epochs, learning_rate, batch_size et weight_decay étaient importants.
Corrélations
Les corrélations capturent les relations linéaires entre chaque hyperparamètre et les valeurs de métrique. Elles permettent de déterminer s’il existe une relation entre l’utilisation d’un hyperparamètre, comme l’optimiseur SGD, et laval_loss (ici, la réponse est oui). Les valeurs de corrélation vont de -1 à 1 : une valeur positive indique une corrélation linéaire positive, une valeur négative une corrélation linéaire négative, et une valeur de 0 l’absence de corrélation. En général, une valeur supérieure à 0,7 en valeur absolue indique une forte corrélation.
Vous pouvez utiliser ce graphique pour explorer plus en détail les valeurs les plus corrélées à votre métrique (ici, vous pourriez privilégier la descente de gradient stochastique ou adam plutôt que rmsprop ou nadam) ou pour entraîner le modèle sur davantage d’époques.
- Les corrélations révèlent une association, pas nécessairement une causalité.
- Les corrélations sont sensibles aux valeurs aberrantes, qui peuvent faire passer une relation forte pour une relation modérée, en particulier lorsque l’échantillon d’hyperparamètres testés est petit.
- Les corrélations capturent uniquement les relations linéaires entre les hyperparamètres et les métriques. Elles ne capturent pas les relations polynomiales fortes.