Keras - CoreWeave Docs

W&B の Keras コールバックを使用すると、トレーニング中に実験をトラッキングし、モデルチェックポイントをログし、モデルの予測を可視化できます。このインテグレーションを使用すれば、トレーニングループを書き換えることなく、Keras のトレーニングワークフローに実験管理とモデルのバージョン管理を追加できます。 Keras コールバックは、Python SDK バージョン 0.13.4 以降の wandb.integration.keras モジュールで利用できます。W&B Keras インテグレーションには、次のコールバックが用意されています。

WandbMetricsLogger: 実験管理に使用するコールバックです。トレーニングと検証のメトリクスを、システムメトリクスとあわせて W&B にログします。
WandbModelCheckpoint: モデルチェックポイントを W&B Artifacts にログするためのコールバックです。
WandbEvalCallback: モデルの予測を W&B Tables にログし、インタラクティブに可視化できるようにするベースコールバックです。

Keras インテグレーションのインストールとインポート

W&B の最新バージョンをインストールします。

pip install -U wandb

Keras インテグレーションを使用するには、wandb.integration.keras から必要なクラスをインポートします。

import wandb
from wandb.integration.keras import WandbMetricsLogger, WandbModelCheckpoint, WandbEvalCallback

以下のセクションでは、各コールバックについてコード例を交えて詳しく説明します。

`WandbMetricsLogger` で実験をトラッキングする

wandb.integration.keras.WandbMetricsLogger() は、on_epoch_end や on_batch_end などのコールバックメソッドが引数として受け取る Keras の logs 辞書をログします。次の部分的なサンプルでは、Keras ワークフローでの WandbMetricsLogger() の使い方を示します。まず、使用するオプティマイザー、損失関数、メトリクスを指定してモデルをコンパイルします。次に、wandb.init() を使用して W&B run を初期化します。最後に、WandbMetricsLogger() コールバックを model.fit() に渡します。

import wandb
from wandb.integration.keras import WandbMetricsLogger
import tensorflow as tf

model.compile(
    optimizer = "adam",
    loss = "categorical_crossentropy",
    metrics = ["accuracy", tf.keras.metrics.TopKCategoricalAccuracy(k=5, name='top@5_accuracy')]
)

# 新しい W&B run を初期化します
with wandb.init(config={"batch_size": 64}) as run:

    # WandbMetricsLogger を model.fit に渡します
    model.fit(
        X_train, y_train, validation_data=(X_test, y_test), callbacks=[WandbMetricsLogger()]
    )

前の例では、各エポックの終わりに、loss、accuracy、top@5_accuracy などのトレーニングおよび検証のメトリクスを W&B にログします。

`WandbMetricsLogger` リファレンス

パラメーター	説明
`log_freq`	(`epoch`、`batch`、または `int`): `epoch` の場合、各エポックの終了時にメトリクスをログします。`batch` の場合、各バッチの終了時にメトリクスをログします。`int` の場合、指定した数のバッチが終了するたびにメトリクスをログします。デフォルトは `epoch` です。
`initial_global_step`	(int): initial_epoch からトレーニングを再開し、学習率スケジューラーを使用する場合に、学習率を正しくログするためにこの引数を使用します。この値は step_size * initial_step として計算できます。デフォルトは 0 です。

`WandbModelCheckpoint` を使用してモデルのチェックポイントを保存する

WandbModelCheckpoint コールバックを使用すると、Keras モデル (SavedModel 形式) またはモデルの重みを定期的に保存し、モデルのバージョン管理のために wandb.Artifact として W&B にアップロードできます。このコールバックは tf.keras.callbacks.ModelCheckpoint() を継承しているため、親コールバックがチェックポイントの保存ロジックを処理します。このコールバックは、次のものを保存します。

監視対象のメトリクスに基づいて最高のパフォーマンスを達成したモデル。
パフォーマンスにかかわらず、各エポック終了時のモデル。
エポック終了時、または一定数のトレーニングバッチ処理後のモデル。
モデルの重みのみ、またはモデル全体。
SavedModel 形式または .h5 形式のモデル。

このコールバックは WandbMetricsLogger() と併用してください。

import wandb
from wandb.integration.keras import WandbMetricsLogger, WandbModelCheckpoint

# 新しい W&B run を初期化します
with wandb.init(config={"bs": 12}) as run:

    # WandbModelCheckpoint を model.fit に渡します
    model.fit(
        X_train,
        y_train,
        validation_data=(X_test, y_test),
        callbacks=[
            WandbMetricsLogger(),
            WandbModelCheckpoint("models"),
        ],
    )

`WandbModelCheckpoint` リファレンス

パラメーター	説明
`filepath`	(str): モデルファイルを保存するパス。
`monitor`	(str): 監視するメトリクス名。
`verbose`	(int): 詳細モード (0 または 1) 。モード 0 では何も表示せず、モード 1 ではコールバックが action を実行したときにメッセージを表示します。
`save_best_only`	(Boolean): `save_best_only=True` の場合、`monitor` 属性と `mode` 属性の定義に基づき、最新のモデル、または最良と判断されたモデルのみを保存します。
`save_weights_only`	(Boolean): True の場合、モデルの重みのみを保存します。
`mode`	(`auto`、`min`、または `max`): たとえば、`val_acc` の場合は `max`、`val_loss` の場合は `min` に設定します。
`save_freq`	(“epoch” または int): “epoch” を指定すると、コールバックは各エポックの終了後にモデルを保存します。整数を指定すると、コールバックはそのバッチ数ごとにモデルを保存します。`val_acc` や `val_loss` などの検証メトリクスはエポックの終了時にのみ利用可能なため、これらを監視する場合は `save_freq` を “epoch” に設定する必要があります。
`options`	(str): `save_weights_only` が true の場合はオプションの `tf.train.CheckpointOptions` オブジェクト、false の場合はオプションの `tf.saved_model.SaveOptions` オブジェクト。
`initial_value_threshold`	(float): 監視対象メトリクスの「最良」値の初期値 (浮動小数点数) 。

`N` エポックごとにチェックポイントをログする

デフォルト (save_freq="epoch") では、コールバックはエポックごとにチェックポイントを作成し、アーティファクトとしてアップロードします。特定のバッチ数ごとにチェックポイントを作成するには、save_freq に整数を設定します。N エポックごとにチェックポイントを作成するには、train データローダーのカーディナリティを計算して save_freq に渡します。

WandbModelCheckpoint(
    filepath="models/",
    save_freq=int((trainloader.cardinality()*N).numpy())
)

TPU アーキテクチャでチェックポイントを効率的にログする

TPU でチェックポイントを保存する際に、UnimplementedError: File system scheme '[local]' not implemented というエラーメッセージが表示される場合があります。これは、モデルのディレクトリ (filepath) にクラウドストレージバケットのパス (gs://bucket-name/...) を使用する必要があり、このバケットに TPU サーバーからアクセスできる必要があるためです。一方、W&B はチェックポイントの保存にローカルパスを使用し、その後、チェックポイントをアーティファクトとしてアップロードします。

checkpoint_options = tf.saved_model.SaveOptions(experimental_io_device="/job:localhost")

WandbModelCheckpoint(
    filepath="models/",
    options=checkpoint_options,
)

`WandbEvalCallback` を使用してモデルの予測を可視化する

WandbEvalCallback() は Keras コールバックを構築するための抽象基底クラスで、主にモデルの予測の可視化、副次的にデータセットの可視化を目的としています。この抽象コールバックは、データセットやタスクに依存しません。使用するには、この基底 WandbEvalCallback() コールバッククラスを継承し、add_ground_truth メソッドと add_model_prediction メソッドを実装します。 WandbEvalCallback() は、次の処理を行うメソッドを提供するユーティリティクラスです。

データおよび予測の wandb.Table() インスタンスを作成する。
データおよび予測の表を wandb.Artifact() としてログする。
on_train_begin でデータ表をログする。
on_epoch_end で予測の表をログする。

次の例では、画像分類タスクに WandbClfEvalCallback を使用します。この例のコールバックは、検証データ (data_table) を W&B にログし、推論を実行して、各エポックの終了時に予測 (pred_table) を W&B にログします。

import wandb
from wandb.integration.keras import WandbMetricsLogger, WandbEvalCallback


# モデルの予測を可視化するコールバックを実装します
class WandbClfEvalCallback(WandbEvalCallback):
    def __init__(
        self, validation_data, data_table_columns, pred_table_columns, num_samples=100
    ):
        super().__init__(data_table_columns, pred_table_columns)

        self.x = validation_data[0]
        self.y = validation_data[1]

    def add_ground_truth(self, logs=None):
        for idx, (image, label) in enumerate(zip(self.x, self.y)):
            self.data_table.add_data(idx, wandb.Image(image), label)

    def add_model_predictions(self, epoch, logs=None):
        preds = self.model.predict(self.x, verbose=0)
        preds = tf.argmax(preds, axis=-1)

        table_idxs = self.data_table_ref.get_index()

        for idx in table_idxs:
            pred = preds[idx]
            self.pred_table.add_data(
                epoch,
                self.data_table_ref.data[idx][0],
                self.data_table_ref.data[idx][1],
                self.data_table_ref.data[idx][2],
                pred,
            )


# ...

# 新しい W&B run を初期化します
with wandb.init(config={"hyper": "parameter"}) as run:

    # Model.fit にコールバックを追加します
    model.fit(
        X_train,
        y_train,
        validation_data=(X_test, y_test),
        callbacks=[
            WandbMetricsLogger(),
            WandbClfEvalCallback(
                validation_data=(X_test, y_test),
                data_table_columns=["idx", "image", "label"],
                pred_table_columns=["epoch", "idx", "image", "label", "pred"],
            ),
        ],
    )

`WandbEvalCallback` リファレンス

パラメーター	説明
`data_table_columns`	(list) `data_table` の列名のリスト
`pred_table_columns`	(list) `pred_table` の列名のリスト

メモリ使用量の詳細

W&B は、on_train_begin メソッドの呼び出し時に data_table をログします。W&B がこれを W&B Artifact としてアップロードすると、この表への参照が得られます。この参照には、data_table_ref クラス変数を使用してアクセスできます。data_table_ref は 2 次元リストで、self.data_table_ref[idx][n] のようにインデックスを指定してアクセスできます。idx は行番号、n は列番号です。使用方法については、次の例を参照してください。

コールバックのカスタマイズ

データと予測をログするタイミングをより細かく制御するには、デフォルトのコールバックメソッドをオーバーライドできます。on_train_begin または on_epoch_end メソッドをオーバーライドすると、より詳細に制御できます。N バッチ後にサンプルをログする場合は、on_train_batch_end メソッドを実装できます。

WandbEvalCallback を継承してモデルの予測を可視化するコールバックを実装する際に、不明な点や修正が必要な点がある場合は、issue を作成してください。

レガシー `WandbCallback`

WandbCallback は、従来のオールインワン型のコールバックです。新しい project では、前のセクションで説明した専用のコールバック (WandbMetricsLogger、WandbModelCheckpoint、WandbEvalCallback) を使用してください。W&B ライブラリの WandbCallback() クラスを使用すると、model.fit() で追跡されるすべてのメトリクスと損失の値を保存できます。

import wandb
from wandb.integration.keras import WandbCallback

with wandb.init(config={"hyper": "parameter"}) as run:

    # Keras でモデルを設定するコード

    # model.fit にコールバックを渡します
    model.fit(
        X_train, y_train, validation_data=(X_test, y_test), callbacks=[WandbCallback()]
    )

短い動画 Keras と W&B を 1 分以内で使い始めるをご覧いただけます。より詳しい動画は、W&B を Keras と統合するをご覧ください。Colab Jupyter ノートブックも確認できます。その他のサンプルスクリプトについては、W&B サンプルリポジトリをご覧ください。Fashion MNIST のサンプルと、それによって生成される W&B ダッシュボードも含まれています。 WandbCallback クラスは、監視するメトリクスの指定、重みと勾配のトラッキング、training_data と validation_data に対する予測のログなど、ログする際の設定オプションをサポートしています。詳細については、keras.WandbCallback のリファレンスドキュメントをご覧ください。 WandbCallback:

Keras が収集したすべてのメトリクス (損失および keras_model.compile() に渡されたもの) の履歴データをログします。
monitor 属性と mode 属性で定義された “最良” のトレーニングステップに関連付けられた run のサマリーメトリクスを設定します。デフォルトでは、val_loss が最小となるエポックです。デフォルトで、WandbCallback は最良の epoch に関連付けられたモデルを保存します。
オプションで、勾配とパラメーターのヒストグラムをログします。
オプションで、wandb で可視化するためにトレーニングデータと検証データを保存します。

`WandbCallback` リファレンス

引数
`monitor`	(str) 監視するメトリクスの名。デフォルトは `val_loss`。
`mode`	(str) `{`auto`,` min`,` max`}` のいずれかです。`min` - 監視対象の指標が最小値を更新したときにモデルを保存します `max` - 監視対象の指標が最大値を更新したときにモデルを保存します `auto` - モデルを保存するタイミングを推測します (デフォルト) 。
`save_model`	True - 監視対象の値が過去のすべてのエポックを上回った場合にモデルを保存します False - モデルを保存しません
`save_graph`	(boolean) True の場合、モデルのグラフを wandb に保存します (デフォルトは True)。
`save_weights_only`	(真偽値) True の場合、モデルの重みのみを保存します(`model.save_weights(filepath)`)。それ以外の場合、モデル全体を保存します)。
`log_weights`	(boolean) True の場合、モデルの層の重みのヒストグラムを保存します。
`log_gradients`	(boolean) True の場合、トレーニングの勾配のヒストグラムをログします
`training_data`	(タプル) `model.fit` に渡すものと同じ形式 `(X,y)` です。勾配の計算に必要です - `log_gradients` が `True` の場合は必須です。
`validation_data`	(タプル) `model.fit` に渡すものと同じ形式 `(X,y)` です。wandb で可視化するためのデータセットです。このフィールドを設定すると、wandb はエポックごとに少数の予測を行い、後で可視化できるように結果を保存します。
`generator`	(ジェネレーター) wandb が可視化する検証データを返すジェネレーターです。このジェネレーターはタプル `(X,y)` を返す必要があります。wandb で特定のデータ例を可視化するには、`validate_data` または generator のいずれかを設定する必要があります。
`validation_steps`	(int) `validation_data` がジェネレーターの場合、検証セット全体に対してジェネレーターを実行するステップ数。
`labels`	(list) wandb でデータを可視化する場合、このラベルのリストは、数値の出力を理解可能な string に変換します。複数のクラスを持つ分類器を構築している場合です。二値分類器の場合、2つのラベルのリスト [`label for false`, `label for true`] を渡すことができます。`validate_data` と `generator` の両方が false の場合、これは何も行いません。
`predictions`	(int) 各エポックで可視化のために生成する予測の数です。最大は 100 です。
`input_type`	(string) モデルの入力のタイプで、可視化を支援します。次のいずれかになります: (`image`, `images`, `segmentation_mask`)。
`output_type`	(string) 可視化に使用するモデル出力のタイプ。次のいずれかを指定できます: (`image`, `images`, `segmentation_mask`)。
`log_evaluation`	(boolean) True の場合、各エポックにおける検証データとモデルの予測を含む Table を保存します。詳細については、`validation_indexes`、`validation_row_processor`、`output_row_processor` を参照してください。
`class_colors`	([float, float, float]) 入力または出力がセグメンテーションマスクの場合、各クラスの rgb タプル (範囲 0-1) を含む配列です。
`log_batch_frequency`	(整数) None の場合、コールバックはエポックごとにログします。整数に設定されている場合、コールバックは `log_batch_frequency` バッチごとにトレーニングメトリクスをログします。
`log_best_prefix`	(string) None の場合、追加のサマリーメトリクスは保存しません。文字列を設定すると、監視対象のメトリクスとエポックに接頭辞を付け、結果をサマリーメトリクスとして保存します。
`validation_indexes`	([wandb.data_types._TableLinkMixin]) 各検証例に関連付けるインデックスキーの順序付きリスト。`log_evaluation` が True で `validation_indexes` を指定した場合、検証データの表を作成しません。代わりに、各予測を `TableLinkMixin` で表される行に関連付けます。行キーのリストを取得するには、`Table.get_index()` を使用します。
`validation_row_processor`	(Callable) 検証データに適用する関数で、一般にデータの可視化に使用します。この関数は `ndx` (int) と `row` (dict) を受け取ります。モデルの入力が単一の場合、`row["input"]` にはその行の入力データが含まれます。それ以外の場合は、入力スロット名が含まれます。当てはめに使用する関数が単一のターゲットを受け取る場合、`row["target"]` にはその行のターゲットデータが含まれます。それ以外の場合は、出力スロット名が含まれます。たとえば、入力データが単一の配列の場合、データを画像として可視化するには、処理関数として `lambda ndx, row: {"img": wandb.Image(row["input"])}` を指定します。`log_evaluation` が False の場合、または `validation_indexes` が存在する場合は無視されます。
`output_row_processor`	(Callable) `validation_row_processor` と同じですが、モデル出力に適用されます。`row["output"]` にはモデル出力の結果が含まれます。
`infer_missing_processors`	(ブール値) `validation_row_processor` と `output_row_processor` が指定されていない場合に、それらを推定するかどうかを決定します。デフォルトは True です。`labels` を指定すると、W&B は必要に応じて分類タイプの処理関数の推定を試みます。
`log_evaluation_frequency`	(int) 評価結果をログする頻度を指定します。デフォルトは `0` で、トレーニング終了時にのみログします。1 に設定すると毎エポック、2 に設定すると 2 エポックごとにログし、以降も同様です。`log_evaluation` が False の場合は効果がありません。

よくある質問

wandb と Keras のマルチプロセッシングを使用する

use_multiprocessing=True を設定すると、次のエラーが発生することがあります:

Error("You must call wandb.init() before wandb.config.batch_size")

回避するには、次の手順を実行します。

Sequence クラスの構築時に、wandb.init(group='...') を追加します。
main では、必ず if __name__ == "__main__": を使用し、その中にスクリプトの残りのロジックを配置します。

​Keras インテグレーションのインストールとインポート

​WandbMetricsLogger で実験をトラッキングする

​WandbMetricsLogger リファレンス

​WandbModelCheckpoint を使用してモデルのチェックポイントを保存する

​WandbModelCheckpoint リファレンス

​N エポックごとにチェックポイントをログする

​TPU アーキテクチャでチェックポイントを効率的にログする

​WandbEvalCallback を使用してモデルの予測を可視化する

​WandbEvalCallback リファレンス

​メモリ使用量の詳細

​コールバックのカスタマイズ

​レガシー WandbCallback

​WandbCallback リファレンス

​よくある質問

​wandb と Keras のマルチプロセッシングを使用する

Keras インテグレーションのインストールとインポート

`WandbMetricsLogger` で実験をトラッキングする

`WandbMetricsLogger` リファレンス

`WandbModelCheckpoint` を使用してモデルのチェックポイントを保存する

`WandbModelCheckpoint` リファレンス

`N` エポックごとにチェックポイントをログする

TPU アーキテクチャでチェックポイントを効率的にログする

`WandbEvalCallback` を使用してモデルの予測を可視化する

`WandbEvalCallback` リファレンス

メモリ使用量の詳細

コールバックのカスタマイズ

レガシー `WandbCallback`

`WandbCallback` リファレンス

よくある質問

wandb と Keras のマルチプロセッシングを使用する