Compare evaluations

The W&B Weave Compare evaluations 뷰를 사용하면 두 개 이상의 로깅된 evaluation을 나란히 검사할 수 있습니다. 프롬프트, 모델 또는 Scorer를 변경할 때 메트릭이 run 간에 어떻게 달라지는지 확인하고, 결과로부터 결론을 도출하기 전에 데이터셋 또는 Scorer 불일치를 파악하는 데 사용하세요. 이 가이드는 Weights & Biases UI에서 로깅된 evaluation을 비교하려는 Weave 사용자를 위한 것입니다. Compare evaluations 뷰를 여는 방법, 요약 차트와 결과 table에 표시되는 내용, 비교를 맞춤 설정하기 위해 수행할 수 있는 작업(베이스라인 설정, evaluation 재정렬, 비교에서 evaluation 제거 등)에 대해 설명합니다.

​

Compare evaluations 뷰에 액세스하기

Compare evaluations 뷰를 열려면 다음 단계를 따르세요.

1. Weave 프로젝트 사이드바에서 Evals를 선택하세요.
2. evaluation table에서 비교할 evaluation을 두 개 이상 골라 체크박스를 선택하세요.
3. evaluation table 툴바에서 Compare를 선택하세요.

Compare evaluations 뷰가 열리면 선택한 각 evaluation이 페이지 상단의 비교 막대에 token으로 표시됩니다. 기본적으로 가장 왼쪽 evaluation이 베이스라인이 되며, 나머지 evaluation은 모두 이 베이스라인을 기준으로 비교됩니다.

​

비교 검토

Compare evaluations 뷰에는 두 개의 탭이 있습니다:

• Summary: 비교된 evaluations의 각 메트릭에 대한 집계 차트와 그 뒤에 속성 및 메트릭 table이 표시됩니다.
• Dataset results: 출력 행별로 비교하기 위한 예시별 결과 table과, 두 evaluations를 비교할 때 차이를 발견하기 위한 scatter plots입니다.

​

Summary 탭

Summary 탭은 기본으로 열립니다. 이 탭은 두 영역으로 구성됩니다.

• Charts: 비교 대상 evaluation 전체의 모든 메트릭 값을 표시하는 방사형 차트와 그 아래의 메트릭별 차트(숫자 메트릭은 막대 차트, 통과/실패 메트릭은 커버리지 차트)로 구성됩니다.
• Properties and metrics table: 차트 아래에 있는 table로, 각 evaluation의 설정과 집계 점수를 보여 줍니다.

속성 및 메트릭 table에는 비교 대상 evaluation별로 다음 정보가 표시됩니다.

• Evaluation: evaluation ID입니다.
• Model: evaluation에서 점수화한 모델 버전입니다.
• Dataset: evaluation 실행에 사용한 데이터셋 버전입니다.
• Properties: evaluation에 기록된 추가 속성입니다.
• Metrics: evaluation의 Scorer가 생성한 각 메트릭의 집계 값입니다.

숫자 메트릭의 경우 베이스라인과의 차이가 값 옆에 색상 배지로 표시됩니다. 색상은 해당 메트릭 기준으로 변화가 바람직한 방향인지 아닌지를 나타냅니다. 기본적으로 값이 높을수록 좋은 것으로 간주하므로 녹색 배지는 증가를, 빨간색 배지는 감소를 뜻합니다. 낮을수록 좋은 메트릭으로 설정된 경우에는 색상이 반대로 표시됩니다. 모든 비교 대상 evaluation에서 값이 같은 속성과 메트릭을 숨기려면 Diff only를 켜세요. Weave는 비교 결과 해석에 영향을 줄 수 있는 차이를 감지하면 table에 인라인 경고를 표시합니다.

• Dataset inconsistency detected: 비교 대상 evaluation마다 데이터셋이 다릅니다. 집계 메트릭을 직접 비교하기 어려울 수 있으며, Dataset results 탭에는 모든 데이터셋에 공통으로 포함된 예시만 표시됩니다.
• Scoring inconsistency detected: 비교 대상 evaluation마다 Scorer가 다릅니다. evaluation마다 점수화 로직이 다르므로 결과를 신중하게 비교하세요.

또한 Weave는 요약에 집중할 수 있도록 모든 비교 대상 evaluation에 공통으로 존재하지 않는 점수 필드를 숨깁니다. 숨겨진 필드가 있으면 뷰 상단의 정보 배너에 그 수가 표시됩니다. 표시할 필드를 직접 선택하려면 Manage fields를 선택하세요.

​

Dataset results 탭

Dataset results를 선택하여 선택한 evaluation 전반에서 개별 데이터셋 예시를 비교하세요. 각 행은 하나의 데이터셋 예시에 해당하며, 데이터셋 입력과 각 evaluation의 출력 및 Scorer 메트릭을 표시하므로 특정 예시가 어디에서 차이가 나는지 검사할 수 있습니다. 행을 선택하여 나란히 보는 상세 뷰를 여세요. 정확히 두 개의 evaluation을 비교할 때, 탭은 table 위에 두 개의 scatter plot을 표시합니다. 각 plot에서 point는 데이터셋 예시를 나타내며, 두 evaluation 각각의 메트릭 값에 따라 위치가 정해지므로 evaluation 간에 차이나는 예시가 두드러집니다. points의 영역을 선택(brush)하여 table에 표시되는 예시를 필터링하고, 각 plot의 Dimension 메뉴를 사용하여 어떤 메트릭을 plot할지 선택하세요. Dataset results 탭은 비교하는 evaluation이 데이터셋 행을 공유해야 합니다. 데이터셋에 공통 행이 없으면 결과 table이 표시되지 않습니다.

​

Compare evaluations 뷰 사용자 지정하기

Compare evaluations 뷰에서는 evaluation의 정렬 순서와 비교에 포함할 evaluation을 조정할 수 있습니다. 다음 섹션에서는 사용 가능한 액션을 설명합니다.

​

베이스라인 설정

기본적으로 비교 막대의 가장 왼쪽에 있는 evaluation이 베이스라인이며, 다른 모든 evaluation은 이에 대해 비교됩니다. 특정 evaluation을 모든 비교의 기준점으로 사용하려는 경우 다른 evaluation을 베이스라인으로 지정할 수 있습니다. evaluation을 베이스라인으로 설정하려면:

1. 비교 막대에서 베이스라인으로 설정하려는 evaluation 위에 포인터를 올려 놓습니다.
2. ID 오른쪽에 있는 액션 () 메뉴를 클릭합니다.
   
3. 목록에서 Make baseline을 선택합니다. UI가 새로 고침되어 비교 막대의 가장 왼쪽 위치에 베이스라인 evaluation이 표시되고 ID 옆에 Baseline이 표시됩니다.
   

​

비교 순서 변경

비교 막대에서 evaluation을 드래그하여 순서를 바꿀 수 있습니다. 이때 비교 table의 해당 열 순서도 함께 바뀝니다. 비교 순서를 변경하려면 다음 단계를 따르세요.

1. 비교 막대에서 순서를 변경할 ID 위에 포인터를 올려놓으세요.
2. ID 왼쪽에 있는 점 6개를 클릭한 채로 원하는 방향(왼쪽 또는 오른쪽)으로 드래그하세요.
3. 원하는 위치에 ID를 놓으세요. 변경된 순서에 맞게 비교 데이터가 새로 고쳐집니다.

​

비교에서 제거

이 옵션은 세 개 이상의 evaluation을 비교할 때만 사용할 수 있습니다. 비교에서 evaluation을 제거하려면:

1. 비교 막대에서 제거할 evaluation을 찾습니다.
2. ID 오른쪽에 있는 액션 () 메뉴를 클릭합니다.
3. 목록에서 Remove from comparison을 선택합니다. UI가 업데이트된 table로 새로 고침되며 제거된 evaluation이 더 이상 포함되지 않습니다.