TensorFlow

​

はじめに

import tensorflow as tf
import wandb

​

カスタムメトリクスをログする

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

​

TensorFlow Estimator のフック

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

​

手動でログする

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

    with tf.GradientTape() as tape:
        # 確率を取得します
        predictions = model(features)
        # 損失を計算します
        loss = loss_func(labels, predictions)

    # メトリクスをログします
    run.log({"loss": loss.numpy()})
    # 勾配を取得します
    gradients = tape.gradient(loss, model.trainable_variables)
    # 重みを更新します
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

​

Weights & Biases と TensorBoard の違い

• モデルの再現: Weights & Biases は、実験や探索に加え、後からモデルを再現することもサポートします。Weights & Biases はメトリクス、ハイパーパラメーター、コードのバージョンを取得し、バージョン管理のステータスやモデル チェックポイントも保存できるため、project を再現可能な状態に保てます。
• 自動的な整理: 共同作業者から project を引き継ぐとき、しばらく時間を置いてから作業を再開するとき、古い project を見直すときでも、Weights & Biases ならこれまでに試したモデルを確認できるため、不要な実験を繰り返さずに済みます。
• 柔軟なインテグレーション: オープンソースの Python パッケージをインストールし、コードに数行追加するだけで、Weights & Biases を project に組み込めます。各 run では、ログされたメトリクスと記録が生成されます。
• 永続的で一元化されたダッシュボード: ローカルマシン、研究室の共有クラスター、クラウドの Spot インスタンスのどこでモデルをトレーニングしても、Weights & Biases は結果を同じ一元化されたダッシュボードに送信します。複数のマシンから TensorBoard のファイルをコピーして整理する必要はありません。
• Tables: 複数のモデルの結果を検索、フィルター、並べ替え、グループ化できます。モデルのバージョンを確認し、タスクごとに最も性能の高いモデルを見つけられます。
• コラボレーションのためのツール: Weights & Biases を使用して機械学習の project を整理できます。Weights & Biases へのリンクを共有したり、プライベートチームを使用して共有 project に結果を送信したりできます。Reports では、インタラクティブな可視化と Markdown による説明を使ってコラボレーションできます。作業ログの記録、指導者への検出結果の共有、研究室やチームでの検出結果の発表などに活用できます。

​

サンプル

• TensorFlow Estimators を使用した MNIST のサンプル。
• TensorFlow を直接使用した Fashion MNIST のサンプル。
• MNIST サンプルの Weights & Biases ダッシュボード。
• TensorFlow 2 でのトレーニングループのカスタマイズ: 記事とダッシュボード。