TensorFlow

​

시작하기

import tensorflow as tf
import wandb

​

커스텀 메트릭 로깅하기

with wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True) as run:
    run.log({"custom": 0.8, "global_step":global_step}, step=global_step)

​

TensorFlow estimators 훅

import tensorflow as tf
import wandb

run = wandb.init(config=tf.FLAGS)

estimator.train(hooks=[wandb.tensorflow.WandbHook(steps_per_log=1000)])
run.finish()

​

수동으로 로깅하기

import wandb
run = wandb.init(config=tf.flags.FLAGS, sync_tensorboard=True)
with tf.Session() as sess:
    # ...
    wandb.tensorflow.log(tf.summary.merge_all())

    with tf.GradientTape() as tape:
        # 확률 조회
        predictions = model(features)
        # 손실 계산
        loss = loss_func(labels, predictions)

    # 메트릭 로깅
    run.log({"loss": loss.numpy()})
    # 그라디언트 조회
    gradients = tape.gradient(loss, model.trainable_variables)
    # 가중치 업데이트
    optimizer.apply_gradients(zip(gradients, model.trainable_variables))

​

Weights & Biases와 TensorBoard의 차이

• 모델 재현: Weights & Biases는 실험과 탐색은 물론, 나중에 모델을 재현하는 작업까지 지원합니다. Weights & Biases는 메트릭, 하이퍼파라미터, 코드 버전을 캡처하고 버전 관리 상태와 모델 체크포인트도 저장할 수 있으므로 프로젝트를 재현할 수 있습니다.
• 자동 정리: 협업자의 프로젝트를 이어받거나, 한동안 자리를 비웠다가 돌아오거나, 오래된 프로젝트를 다시 살펴볼 때 Weights & Biases에서 이미 시도한 모델을 확인할 수 있으므로 실험을 불필요하게 다시 실행하지 않아도 됩니다.
• 유연한 인테그레이션: 오픈 소스 Python 패키지를 설치하고 코드에 몇 줄만 추가하면 프로젝트에 Weights & Biases를 적용할 수 있습니다. 각 run마다 로깅된 메트릭과 기록이 생성됩니다.
• 영구적인 중앙 집중식 대시보드: 로컬 머신, 공유 연구실 클러스터, 클라우드의 스팟 인스턴스 중 어디에서 모델을 트레이닝하든 Weights & Biases는 결과를 동일한 중앙 집중식 대시보드로 전송합니다. 여러 머신에 흩어진 TensorBoard 파일을 복사하고 정리할 필요가 없습니다.
• Tables: 여러 모델의 결과를 검색, 필터링, 정렬, 그룹화할 수 있습니다. 모델 버전을 검토하고 작업별로 가장 성능이 좋은 모델을 찾을 수 있습니다.
• 협업 도구: Weights & Biases로 머신러닝 프로젝트를 체계적으로 관리하세요. Weights & Biases 링크를 공유하거나 비공개 팀을 사용하여 결과를 공유 프로젝트로 보낼 수 있습니다. Reports는 대화형 시각화와 Markdown 설명으로 협업을 지원하며, 이를 활용해 작업 일지를 작성하거나, 지도 교수나 상사와 발견 사항을 공유하거나, 연구실 또는 팀에 발견 사항을 발표할 수 있습니다.

​

예시

• TensorFlow Estimators를 사용한 MNIST 예시.
• 순수 TensorFlow를 사용한 Fashion MNIST 예시.
• MNIST 예시의 Weights & Biases 대시보드.
• TensorFlow 2에서 트레이닝 루프 맞춤 설정하기: 아티클 및 대시보드.