TensorFlow

​

시작하기

import tensorflow as tf
import wandb

​

커스텀 메트릭 로깅하기

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

​

TensorFlow estimators 훅

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

​

수동으로 로깅하기

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

    with tf.GradientTape() as tape:
        # 확률 조회
        predictions = model(features)
        # 손실 계산
        loss = loss_func(labels, predictions)

    # 메트릭 로깅
    run.log({"loss": loss.numpy()})
    # 그라디언트 조회
    gradients = tape.gradient(loss, model.trainable_variables)
    # 가중치 업데이트
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

​

W&B와 TensorBoard의 차이

• 모델 재현: W&B는 실험, 탐색 및 나중에 모델을 재현하는 기능을 지원합니다. W&B는 메트릭, 하이퍼파라미터 및 코드 버전을 캡처하며, 버전 제어 상태와 모델 체크포인트를 저장하여 프로젝트를 재현 가능하게 만듭니다.
• 자동 정리: 협업자의 프로젝트를 이어서 진행하거나, 오랜만에 돌아오거나, 이전 프로젝트를 다시 볼 때 W&B를 사용하면 시도한 모델을 확인할 수 있어 불필요하게 실험을 다시 실행하지 않아도 됩니다.
• 유연한 인테그레이션: 오픈 소스 Python 패키지를 설치하고 코드에 몇 줄만 추가하면 W&B를 프로젝트에 추가할 수 있습니다. 각 run은 로깅된 메트릭과 레코드를 생성합니다.
• 지속적이고 중앙화된 대시보드: 로컬 머신, 공유 랩 클러스터 또는 클라우드의 Spot Instances에서 모델을 트레이닝하든, W&B는 결과를 동일한 중앙화된 대시보드로 전송합니다. 여러 머신에서 TensorBoard 파일을 복사하고 정리할 필요가 없습니다.
• Tables: 여러 모델의 결과를 검색, 필터링, 정렬 및 그룹화할 수 있습니다. 모델 버전을 검토하고 다양한 작업에 가장 성능이 좋은 모델을 찾을 수 있습니다.
• 협업 도구: W&B를 사용하여 머신 러닝 프로젝트를 정리하세요. W&B 링크를 공유하거나 private 팀을 사용하여 결과를 공유 프로젝트로 보낼 수 있습니다. Reports는 대화형 시각화와 Markdown 설명을 통해 협업을 지원하므로, 작업 로그를 기록하거나 상사에게 발견 사항을 공유하거나 연구실 또는 팀에 결과를 발표하는 데 활용할 수 있습니다.

​

예시

• TensorFlow Estimators를 사용한 MNIST 예시.
• 순수 TensorFlow를 사용한 Fashion MNIST 예시.
• MNIST 예시의 W&B 대시보드.
• TensorFlow 2에서 트레이닝 루프 맞춤 설정하기: 아티클 및 대시보드.