View Eval Tables - CoreWeave Docs

Eval Table을 생성할 때 입력, 출력, 점수가 포함된 열을 지정하세요. W&B는 Eval Table에서 해당 열을 각각의 섹션으로 그룹화합니다. 다음 예시는 EvalTable 객체의 기본 구조를 보여줍니다:

import wandb

wandb.EvalTable(
    input_columns=["column1", "column2"],
    output_columns=["output_column1", "output_column2"],
    score_columns=["score_column1", "score_column2"],
)

다음 각 인수에 하나 이상의 열 이름을 전달하세요:

input_columns: 이미지, 프롬프트 또는 정답 레이블 등 모델에 제공되는 데이터입니다.
output_columns: 예측 또는 생성된 응답 등 모델이 생성하는 값입니다.
score_columns: 출력을 평가하는 데 사용되는 메트릭 또는 기타 값입니다.

W&B는 Eval Table의 Inputs, 출력 및 점수 섹션에 이러한 열을 표시합니다.

이 페이지의 예시는 Eval Table 만들기의 코드를 사용합니다. 코드 보기를 펼쳐 전체 예제를 확인하거나 복사하세요.

코드 보기

import pandas as pd
import wandb

df = pd.DataFrame(
    [
        {
            "image_id": "img_001",
            "true_label": "cat",
            "predicted_label": "cat",
            "confidence": 0.97,
            "correct": True,
        },
        {
            "image_id": "img_002",
            "true_label": "dog",
            "predicted_label": "cat",
            "confidence": 0.72,
            "correct": False,
        },
        {
            "image_id": "img_003",
            "true_label": "car",
            "predicted_label": "car",
            "confidence": 0.89,
            "correct": True,
        },
    ]
)

df["correct"] = df["correct"].astype(object)  # Python 기본 bool 값을 유지합니다

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

예를 들어, Eval Table 만들기의 코드 예시를 살펴보세요:

import wandb

with wandb.init(project="classifier-eval-table-demo") as run:
    eval_table = wandb.EvalTable(
        dataframe=df,
        input_columns=["image_id", "true_label"],
        output_columns=["predicted_label"],
        score_columns=["correct", "confidence"],
    )
    run.log({"validation_predictions_eval": eval_table})

이 예시에서:

Inputs 섹션에는 image_id 및 true_label 열이 포함됩니다.
출력 섹션에는 predicted_label 열이 포함됩니다.
점수 섹션에는 correct 및 confidence 열이 포함됩니다.

다음 이미지는 이 섹션들을 강조하여 보여줍니다:

상세 뷰

행을 선택하여 해당 예시의 상세 뷰를 여세요. 상세 뷰에는 예시의 입력, 출력, 점수가 표시됩니다. 다음 이미지는 Eval Table의 첫 번째 행에 대한 상세 뷰를 보여줍니다:

table에 열이 많거나 여러 run의 결과를 비교할 때 상세 뷰를 사용하여 예시를 살펴보세요. Inputs 섹션 위의 위쪽 또는 아래쪽 화살표를 선택하여 현재 table 뷰의 예시 사이를 이동하세요.

데이터 필터링

필터를 사용하여 특정 조건에 맞는 행만 표시하세요. 필터를 추가하려면:

table 위의 Filter 버튼을 선택하세요.
드롭다운에서 필터링할 열을 선택하세요.
연산자를 선택하세요.
값을 지정하세요.

W&B는 자동으로 table에 필터를 적용하고 조건에 맞는 행만 표시합니다.

여러 필터를 적용할 수 있습니다. 필터를 제거하려면 해당 필터 옆의 X를 선택하세요.

열 표시 또는 숨기기

Columns 메뉴를 사용하여 Eval Table에 표시할 열을 제어하세요. 사용 가능한 열은 table에 로깅된 데이터에 따라 달라집니다. 열을 표시하거나 숨기려면:

table 위에서 Columns를 선택하세요.
표시할 열을 선택하거나, 숨길 열의 선택을 해제하세요.

다음 이미지는 사용 가능한 모든 열이 선택된 Columns 메뉴를 보여줍니다:

​상세 뷰

​데이터 필터링

​열 표시 또는 숨기기

상세 뷰

데이터 필터링

열 표시 또는 숨기기