table 시각화 및 분석

W&B Tables를 사용자 지정하여 머신러닝 모델 성능에 관한 질문에 답하고, 데이터를 분석하는 등 다양한 작업을 수행하세요. 데이터를 대화형으로 탐색하여 다음 작업을 수행할 수 있습니다.

• 아티팩트 버전으로 로깅된 두 W&B Tables를 비교하여 데이터 또는 모델 성능의 변화를 분석합니다.
• 데이터에서 더 큰 흐름의 패턴을 파악합니다.
• table에 로깅한 값이 run 전반에 걸쳐 어떻게 변하는지 확인합니다.

​

table 비교 옵션

병합 뷰 또는 나란히 보기 뷰로 두 table을 비교할 수 있습니다. 예를 들어, 아래 이미지는 MNIST 데이터의 table을 비교한 모습입니다. 두 table을 비교하려면 다음 단계를 따르세요.

1. W&B App에서 프로젝트로 이동합니다.
2. 프로젝트 사이드바에서 아티팩트 아이콘을 선택합니다.
3. 아티팩트 버전을 선택합니다.

다음 이미지는 다섯 번의 에포크가 각각 끝날 때마다 MNIST 검증 데이터에 대해 모델이 수행한 예측을 보여줍니다(대화형 예시 보기).

3. 사이드바에서 비교할 두 번째 아티팩트 버전에 마우스를 올리고, Compare가 나타나면 클릭합니다. 예를 들어, 아래 이미지에서는 “v4” 레이블이 지정된 버전을 선택해, 같은 모델이 5 에포크 동안 트레이닝한 후 수행한 MNIST 예측과 비교합니다.

​

병합 뷰

처음에는 두 table이 병합된 상태로 표시됩니다. 먼저 선택한 table은 인덱스 0이며 파란색으로 강조 표시되고, 두 번째 table은 인덱스 1이며 노란색으로 강조 표시됩니다. 병합된 table의 라이브 예시는 여기에서 확인하세요. 병합 뷰에서는 다음 작업을 할 수 있습니다.

• 조인 키 선택: 왼쪽 상단의 드롭다운에서 두 table의 조인 키로 사용할 열을 설정합니다. 보통은 데이터셋에 있는 특정 예시의 파일 이름이나 생성된 샘플에 순차적으로 부여된 인덱스처럼 각 행을 고유하게 식별하는 값을 사용합니다. 현재는 어떤 열이든 선택할 수 있으므로, 알아보기 어려운 table이 만들어지거나 쿼리가 느려질 수 있다는 점에 유의하세요.
• 조인 대신 연결: 이 드롭다운에서 “concatenating all tables”를 선택하면 열을 기준으로 조인하는 대신 두 table의 모든 행을 합쳐 하나의 더 큰 Table로 만듭니다.
• 각 Table을 명시적으로 참조: 필터 표현식에서 0, 1, *를 사용해 한쪽 또는 양쪽 table 인스턴스의 열을 명시적으로 지정합니다.
• 세부 수치 차이를 히스토그램으로 시각화: 모든 셀의 값을 한눈에 비교할 수 있습니다.

​

나란히 보기 뷰

두 table을 나란히 보려면 첫 번째 드롭다운을 “Merge Tables: Table”에서 “List of: Table”로 변경한 다음 “Page size”를 각각 조정하세요. 이때 처음 선택한 Table은 왼쪽에, 두 번째 Table은 오른쪽에 표시됩니다. “Vertical” 체크박스를 클릭하면 두 table을 세로로 배치해 비교할 수도 있습니다.

• table을 한눈에 비교: 두 table에 정렬, 필터, 그룹화 등의 오퍼레이션을 동시에 적용해 변경 사항이나 차이를 빠르게 파악할 수 있습니다. 예를 들어 추측값별로 그룹화한 올바르지 않은 예측, 전체에서 가장 어려운 네거티브 샘플, 실제 레이블별 신뢰도 점수 분포 등을 확인할 수 있습니다.
• 두 table을 독립적으로 탐색: 스크롤하면서 관심 있는 쪽이나 행에 집중할 수 있습니다.

​

아티팩트 비교

아티팩트 버전으로 로깅된 두 W&B Tables를 비교하여 데이터나 모델 성능의 변화를 분석하세요. 병합 뷰 또는 나란히 보기 뷰를 사용해 table을 비교할 수 있습니다.

​

시간 경과에 따른 table 비교

트레이닝 기간 동안 모델 성능이 어떻게 변하는지 분석하려면 트레이닝의 주요 단계마다 아티팩트에 table을 로깅하세요. 예를 들어 검증 단계가 끝날 때마다, 트레이닝 50 에포크마다, 또는 파이프라인에 맞는 주기로 table을 로깅할 수 있습니다. 나란히 보기 뷰를 사용하면 모델 예측의 변화를 시각화할 수 있습니다. 트레이닝 기간에 걸친 예측 시각화에 대한 자세한 워크스루는 시간 경과에 따른 예측 리포트와 대화형 노트북 예시를 참조하세요.

​

모델 변형 간 table 비교

서로 다른 두 모델에 대해 동일한 step에서 로깅된 두 아티팩트 버전을 비교하면, 설정(하이퍼파라미터, 기본 아키텍처 등)에 따라 모델 성능이 어떻게 달라지는지 분석할 수 있습니다. 예를 들어, baseline과 새로운 모델 변형인 2x_layers_2x_lr의 예측을 비교해 보세요. 이 변형은 첫 번째 합성곱 레이어를 32에서 64로, 두 번째 레이어를 128에서 256으로, 학습률을 0.001에서 0.002로 각각 두 배로 늘린 모델입니다. 이 라이브 예시에서 나란히 보기 뷰를 사용하고, 트레이닝 에포크 1회 후(왼쪽 탭)와 5회 후(오른쪽 탭)의 올바르지 않은 예측만 필터링하세요.

​

run 전반에 걸친 값의 변화 시각화하기

step 슬라이더를 사용하면 table에 로깅한 값이 run 전반에 걸쳐 어떻게 변하는지 확인할 수 있습니다. step 슬라이더를 움직여 각 step에서 로깅된 값을 확인하세요. 예를 들어 각 run 이후 loss, 정확도 또는 기타 메트릭이 어떻게 변하는지 확인할 수 있습니다. 슬라이더는 키를 사용해 step 값을 확인합니다. 슬라이더의 기본 키는 _step으로, W&B가 자동으로 로깅하는 특수 키입니다. _step 키는 코드에서 wandb.Run.log()를 호출할 때마다 1씩 증가하는 정수입니다. W&B Table에 step 슬라이더를 추가하려면 다음 단계를 따르세요.

1. 프로젝트의 workspace로 이동하세요.
2. workspace 오른쪽 상단에서 Add panel을 클릭하세요.
3. Query panel을 선택하세요.
4. 쿼리 표현식 편집기에서 runs를 선택하고 키보드의 Enter 키를 누르세요.
5. 톱니바퀴 아이콘을 클릭해 패널 설정을 여세요.
6. Render As 선택기를 Stepper로 설정하세요.
7. Stepper Key를 _step 또는 step 슬라이더의 단위로 사용할 키로 설정하세요.

다음 이미지는 세 개의 W&B run과 각 run이 step 295에서 로깅한 값을 보여 주는 쿼리 패널입니다. W&B App UI에서 여러 step에 같은 값이 중복으로 표시될 수 있습니다. 이는 여러 run이 서로 다른 step에서 같은 값을 로깅했거나, run이 모든 step에서 값을 로깅하지 않은 경우에 발생할 수 있습니다. 특정 step에 값이 없으면 W&B는 마지막으로 로깅된 값을 슬라이더 키로 사용합니다.

​

맞춤형 step 키

step 키로는 run에서 로깅하는 숫자형 메트릭이라면 무엇이든 사용할 수 있습니다(예: epoch 또는 global_step). 맞춤형 step 키를 사용하면 W&B는 해당 키의 각 값을 run의 step(_step)에 매핑합니다. 이 table은 맞춤형 step 키 epoch가 세 run(serene-sponge, lively-frog, vague-cloud)에서 각각 _step 값에 어떻게 매핑되는지 보여줍니다. 각 행은 run의 특정 _step에서 wandb.Run.log()를 호출한 것을 나타내며, 각 열은 해당 step에서 로깅된 epoch 값이 있으면 그 값을 보여줍니다. 공간을 절약하기 위해 일부 _step 값은 생략했습니다. wandb.Run.log()를 처음 호출했을 때는 어떤 run도 epoch 값을 로깅하지 않았으므로 table의 epoch 값이 비어 있습니다. 이제 슬라이더를 epoch = 1로 설정하면 다음과 같이 동작합니다.

• vague-cloud는 epoch = 1을 찾아 _step = 5에서 로깅된 값을 반환합니다.
• lively-frog는 epoch = 1을 찾아 _step = 4에서 로깅된 값을 반환합니다.
• serene-sponge는 epoch = 1을 찾아 _step = 2에서 로깅된 값을 반환합니다.

슬라이더를 epoch = 9로 설정하면 다음과 같이 동작합니다.

• vague-cloud 역시 epoch = 9를 로깅하지 않으므로, W&B는 그 이전의 가장 최근 값인 epoch = 3을 사용하여 _step = 20에서 로깅된 값을 반환합니다.
• lively-frog는 epoch = 9를 로깅하지 않지만, 그 이전의 가장 최근 값이 epoch = 5이므로 _step = 20에서 로깅된 값을 반환합니다.
• serene-sponge는 epoch = 9를 찾아 _step = 18에서 로깅된 값을 반환합니다.

​

뷰 저장하기

run Workspace, 프로젝트 Workspace 또는 리포트에서 사용하는 table은 뷰 상태가 자동으로 저장됩니다. table 오퍼레이션을 적용한 후 브라우저를 닫더라도, 다음에 해당 table로 이동하면 마지막으로 본 설정이 그대로 유지됩니다. Workspace의 table을 특정 상태 그대로 저장하려면 W&B Report로 내보내세요. table을 리포트로 내보내는 방법은 다음과 같습니다.

1. Workspace 시각화 패널의 오른쪽 상단에 있는 액션() 메뉴를 선택하세요.
2. Share panel 또는 Add to report를 선택하세요.

​

예시

다음 리포트에서 W&B Tables의 다양한 활용 사례를 확인할 수 있습니다.

• 시간에 따른 예측 시각화
• Workspace에서 table을 비교하는 방법
• 이미지 및 분류 모델
• 텍스트 및 생성형 언어 모델
• 개체명 인식
• AlphaFold 단백질