Evaluations에서 동적 Leaderboard 만들기

이 가이드에서는 동적 Leaderboard를 사용하여 Weave Evaluations에서 바로 Leaderboard 뷰를 시각화, 사용자 지정, 저장 및 업데이트하는 방법을 설명합니다. 동적 Leaderboard를 사용하면 새로운 실험이 쌓이는 동안 시간에 따른 모델 성능을 추적하고 비교할 수 있습니다. 따라서 매번 뷰를 다시 만들 필요 없이 항상 최신 상태의 뷰를 유지할 수 있습니다. 이 페이지는 이미 Weave Evaluations를 실행하고 있으며, 결과를 공유하고 재사용할 수 있는 뷰로 정리하려는 사용자를 대상으로 합니다. Weave Evaluations에서는 실험 결과를 Leaderboard로 시각화하고 사용자 지정할 수 있습니다. 저장된 Leaderboard 뷰는 동적으로 동작합니다. 새로운 평가 run을 추가하고 그 결과가 저장된 필터와 일치하면, 따로 다시 설정하지 않아도 Leaderboard가 자동으로 업데이트되어 해당 결과가 반영됩니다. 이를 통해 뷰를 실험과 함께 계속 발전하는 영구적인 Leaderboard로 활용할 수 있습니다.

​

Leaderboard에서 평가 결과 시각화하기

프로젝트에 Weave Evaluation 데이터가 있으면 평가 table에서 필터링한 결과 일부만으로 Weave Leaderboard 뷰를 빠르게 만들 수 있습니다. Weave Leaderboard를 만들려면 다음 단계를 따르세요.

1. Forge로 이동하세요.
2. Weave 사이드바 메뉴에서 Evaluations를 클릭하세요.
3. 평가 table에 필터를 적용해 비교하려는 모델, 데이터셋 또는 run만 남도록 데이터 범위를 좁히세요.
4. 평가 table 툴바에서 Visualize를 클릭하세요. Weave가 현재 table에서 필터링된 데이터만으로 Leaderboard 패널을 자동으로 생성합니다.
5. Leaderboard 패널 헤더에서 Configure를 클릭해 Edit Leaderboard 패널을 여세요. Edit Leaderboard 패널에서는 모델, 데이터셋, Scorer, 메트릭의 표시 방식을 세밀하게 조정할 수 있습니다.

다음 이미지는 필터링된 평가 table이 Leaderboard로 시각화되는 모습과 생성된 Leaderboard를 설정하는 위치를 보여 줍니다.

​

표시 여부와 맞춤형 이름으로 Leaderboard 요소 설정하기

Edit Leaderboard 패널에서는 Leaderboard에 표시할 요소와 각 요소의 레이블을 지정할 수 있습니다. 다음은 Models, Datasets, Scorers, Metrics의 네 가지 설정 탭이 있는 Edit Leaderboard 패널입니다. Edit Leaderboard 패널에서는 다음 작업을 할 수 있습니다.

• 표시 활성화 또는 비활성화 모델, 데이터셋, Scorer, 메트릭을 체크하거나 체크 해제하여 Leaderboard에 표시할 항목을 선택합니다.
• 모델, 데이터셋, Scorer 이름 변경 알아보기 쉬운 표시 이름을 부여합니다(예: 모델 run의 이름을 GPT-4로, 데이터셋 이름을 JokesV1로 변경). 이름을 변경한 항목은 다음과 같이 동작합니다.
  • Leaderboard에 즉시 반영됩니다.
  • 변경 후에도 클릭할 수 있으므로 사이드 패널에서 원본 레퍼런스를 열 수 있습니다.
  • Leaderboard 뷰를 사용하는 모든 곳에 자동으로 반영됩니다.

따라서 원본 객체를 변경하지 않고도 의미 있고 알아보기 쉬운 이름으로 실험을 편리하게 비교할 수 있습니다.

​

Leaderboard 메트릭 동작 및 색상 설정

“좋은” 성능의 기준은 메트릭마다 다릅니다. Edit Leaderboard 패널에서 각 메트릭의 방향을 설정하면 의도에 맞게 시각적 강조 표시를 적용할 수 있습니다. Edit Leaderboard 패널에서는 각 메트릭에 대해 다음 방향 중 하나를 지정할 수 있습니다.

• Higher values are better
• Lower values are better

이 설정은 Leaderboard 색상 표시에 직접 반영됩니다.

• 더 나은 값은 녹색으로 강조됩니다.
• 더 나쁜 값은 빨간색으로 강조됩니다.
• “높을수록 좋음”과 “낮을수록 좋음”을 전환하면 색상이 자동으로 반전됩니다.

따라서 메트릭 유형이 달라도(예: 정확도와 지연 시간 또는 오류율 비교) 시각적 신호가 정확하게 유지됩니다.

​

Leaderboard 뷰 저장 및 재사용

Leaderboard를 사용자 지정한 후 이름을 붙여 뷰로 저장해 두면, 나중에 본인과 팀원이 같은 설정을 다시 불러올 수 있습니다. Edit Leaderboard 패널에서 Save를 클릭하면 사용자 지정한 Leaderboard가 재사용 가능한 뷰로 저장됩니다. 저장된 Leaderboard 뷰에는 다음 항목이 포함됩니다.

• 선택한 모델, 데이터셋, Scorer, 메트릭
• 이름을 변경한 표시 레이블
• 메트릭 방향 설정(높을수록 좋음 또는 낮을수록 좋음)
• 적용된 필터

​

저장된 뷰 간 전환

Evaluations 페이지 제목 옆의 메뉴() 버튼을 클릭하면 저장된 뷰를 열 수 있습니다. 다음 작업을 할 수 있습니다.

• 기본 뷰로 돌아가 전체 데이터셋을 확인합니다.
• 저장된 뷰를 다시 열어 모든 맞춤 설정을 복원합니다.

저장된 뷰를 다시 열면 변경한 이름과 메트릭 설정이 모두 그대로 유지됩니다.