TensorFlow

​

はじめに

import tensorflow as tf
import wandb

​

カスタムメトリクスをログする

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

​

TensorFlow Estimator のフック

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

​

手動でログする

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

    with tf.GradientTape() as tape:
        # 確率を取得します
        predictions = model(features)
        # 損失を計算します
        loss = loss_func(labels, predictions)

    # メトリクスをログします
    run.log({"loss": loss.numpy()})
    # 勾配を取得します
    gradients = tape.gradient(loss, model.trainable_variables)
    # 重みを更新します
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

​

W&B と TensorBoard の違い

• モデルの再現: W&B は、実験、探索、後からのモデルの再現をサポートします。W&B はメトリクス、ハイパーパラメーター、コードのバージョンを取得し、バージョン管理のステータスやモデル チェックポイントを保存できるため、project の再現性を確保できます。
• 自動整理: 共同作業者から project を引き継ぐ場合、しばらく離れていた作業に戻る場合、過去の project を再び扱う場合に、W&B では試したモデルを確認できるため、不必要に実験をやり直す必要がありません。
• 柔軟なインテグレーション: オープンソースの Python パッケージをインストールし、コードに数行追加することで、project に W&B を追加できます。各 run でメトリクスがログされ、記録が作成されます。
• 永続的で一元化されたダッシュボード: ローカルマシン、研究室の共有クラスター、クラウドのスポットインスタンスのいずれでモデルをトレーニングしても、W&B は結果を同じ一元化されたダッシュボードに送信します。異なるマシンから TensorBoard ファイルをコピーして整理する必要はありません。
• Tables: 異なるモデルの結果を検索、フィルター、並べ替え、グループ化できます。モデルのバージョンを確認し、タスクごとに最も性能の高いモデルを検索できます。
• 共同作業のためのツール: W&B を使用して機械学習の project を整理します。W&B へのリンクを共有するか、プライベートチームを使用して共有 project に結果を送信します。Reports は、対話型の可視化と Markdown の説明を通じて共同作業をサポートします。これらを使用して、作業ログを残したり、上司と知見を共有したり、研究室やチームに知見を発表したりできます。

​

サンプル

• TensorFlow Estimators を使用した MNIST のサンプル。
• TensorFlow を直接使用した Fashion MNIST のサンプル。
• MNIST サンプルの W&B ダッシュボード。
• TensorFlow 2 でのトレーニングループのカスタマイズ: 記事とダッシュボード。