> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# TensorFlow
> W&B を TensorFlow と統合して、カスタムメトリクスのログ、estimator フックの使用、TensorBoard ログの同期を行います。
export const ColabLink = ({url}) =>
Try in Colab
;
このページでは、W\&B を TensorFlow と統合して、実験をトラッキングし、メトリクスをログし、TensorBoard のログを同期する方法を説明します。これらのパターンに従って、TensorFlow モデルからトレーニングデータを取得し、フックや手動でのログを通じてログする内容をカスタマイズし、既存の TensorBoard ワークフローを W\&B の一元化されたダッシュボードで再利用できます。TensorBoard 単体よりも充実した実験管理が必要な場合は、このインテグレーションを使用してください。
はじめに
すでに TensorBoard を使用している場合は、W\&B と統合できます。両方のライブラリをインポートして、スクリプト内で W\&B と TensorFlow の API を使用できるようにします。
```python theme={"system"}
import tensorflow as tf
import wandb
```
カスタムメトリクスをログする
このセクションでは、TensorBoard が取得しないメトリクスをログする方法を説明します。これにより、標準の TensorBoard サマリーとともに追加の値をトラッキングできます。
TensorBoard がログしないカスタムメトリクスを追加でログする必要がある場合は、コード内で `run.log()` を呼び出せます。たとえば、`run.log({"custom": 0.8})` のようにします。
W\&B は TensorBoard との同期時に `run.log()` の step 引数を無効にします。異なる step 数を設定するには、次のように step メトリクスとともにメトリクスをログします。
```python theme={"system"}
with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
run.log({"custom": 0.8, "global_step":global_step}, step=global_step)
```
TensorFlow Estimator のフック
このセクションでは、TensorFlow Estimator 用の W\&B フックについて説明します。このフックを使用すると、Estimator のトレーニング中に W\&B が取得する内容を細かく制御できます。
ログする内容をより細かく制御したい場合のために、W\&B は TensorFlow Estimator 用のフックも提供しています。このフックは、グラフ内のすべての `tf.summary` 値をログします。
```python theme={"system"}
import tensorflow as tf
import wandb
run = wandb.init(config=tf.FLAGS)
estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()
```
手動でログする
estimator を使用していない場合や、特定のサマリーを明示的にログしたい場合、このセクションでは `tf.summary` の値を W\&B に直接送信する方法を説明します。
TensorFlow でメトリクスをログする方法の 1 つは、TensorFlow ロガーで `tf.summary` をログすることです。
```python theme={"system"}
import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
# ...
wandb.tensorflow.log(tf.summary.merge_all())
```
TensorFlow 2 でカスタムループを使用してモデルをトレーニングする場合は、`tf.GradientTape` の使用を推奨します。詳細は、[TensorFlow のカスタムトレーニングのウォークスルー](https://www.tensorflow.org/tutorials/customization/custom_training_walkthrough)を参照してください。カスタム TensorFlow トレーニングループに W\&B を組み込んでメトリクスをログするには、次のスニペットに従ってください。
```python theme={"system"}
with tf.GradientTape() as tape:
# 確率を取得します
predictions = model(features)
# 損失を計算します
loss = loss_func(labels, predictions)
# メトリクスをログします
run.log({"loss": loss.numpy()})
# 勾配を取得します
gradients = tape.gradient(loss, model.trainable_variables)
# 重みを更新します
optimizer.apply_gradients(zip(gradients, model.trainable_variables))
```
[TensorFlow 2 でトレーニングループをカスタマイズする完全な例](https://www.wandb.com/articles/wandb-customizing-training-loops-in-tensorflow-2)をご覧いただけます。
W\&B と TensorBoard の違い
TensorBoard と併用するか、TensorBoard の代わりに W\&B を採用するかを検討している場合、このセクションでは主な違いを説明します。
W\&B は、TensorBoard ユーザーが直面する一般的な制約に対処するために開発されました。W\&B には次のような違いがあります。
* **モデルの再現**: W\&B は、実験、探索、後からのモデルの再現をサポートします。W\&B はメトリクス、ハイパーパラメーター、コードのバージョンを取得し、バージョン管理のステータスやモデル チェックポイントを保存できるため、project の再現性を確保できます。
* **自動整理**: 共同作業者から project を引き継ぐ場合、しばらく離れていた作業に戻る場合、過去の project を再び扱う場合に、W\&B では試したモデルを確認できるため、不必要に実験をやり直す必要がありません。
* **柔軟なインテグレーション**: オープンソースの Python パッケージをインストールし、コードに数行追加することで、project に W\&B を追加できます。各 run でメトリクスがログされ、記録が作成されます。
* **永続的で一元化されたダッシュボード**: ローカルマシン、研究室の共有クラスター、クラウドのスポットインスタンスのいずれでモデルをトレーニングしても、W\&B は結果を同じ一元化されたダッシュボードに送信します。異なるマシンから TensorBoard ファイルをコピーして整理する必要はありません。
* **Tables**: 異なるモデルの結果を検索、フィルター、並べ替え、グループ化できます。モデルのバージョンを確認し、タスクごとに最も性能の高いモデルを検索できます。
* **共同作業のためのツール**: W\&B を使用して機械学習の project を整理します。W\&B へのリンクを共有するか、プライベートチームを使用して共有 project に結果を送信します。Reports は、対話型の可視化と Markdown の説明を通じて共同作業をサポートします。これらを使用して、作業ログを残したり、上司と知見を共有したり、研究室やチームに知見を発表したりできます。
W\&B を試すには、[無料アカウントを作成してください](https://id.coreweave.com/signup)。
サンプル
これらのインテグレーションのパターンを完全な project に適用した例については、以下のサンプルをご覧ください。
* [TensorFlow Estimators を使用した MNIST のサンプル](https://github.com/wandb/examples/blob/master/examples/tensorflow/tf-estimator-mnist/mnist.py)。
* [TensorFlow を直接使用した Fashion MNIST のサンプル](https://github.com/wandb/examples/blob/master/examples/tensorflow/tf-cnn-fashion/train.py)。
* [MNIST サンプルの W\&B ダッシュボード](https://forge.coreweave.com/wandb/l2k2/examples-tf-estimator-mnist/runs/p0ifowcb)。
* TensorFlow 2 でのトレーニングループのカスタマイズ: [記事](https://www.wandb.com/articles/wandb-customizing-training-loops-in-tensorflow-2)と[ダッシュボード](https://app.wandb.ai/sayakpaul/custom_training_loops_tf)。