Skip to main content
_평가 중심 LLM 애플리케이션 개발_은 일관되게 엄선된 예시로 LLM 애플리케이션의 동작을 측정하여 애플리케이션을 체계적으로 개선할 수 있게 해 줍니다. 이 가이드에서는 Weave에서 평가를 설정하고 실행하는 방법을 설명합니다. 이를 통해 반복 가능한 테스트 케이스로 LLM 애플리케이션의 성능을 측정하고, 시간에 따른 변경 사항을 비교하고, 회귀를 파악할 수 있습니다. 이 가이드는 임시방편식 테스트에서 벗어나 체계적이고 측정 가능한 워크플로를 도입하려는 LLM 애플리케이션 개발자를 대상으로 합니다.
Weave 워크플로의 핵심은 _Evaluation 객체_이며, 이 객체는 다음을 정의합니다.Evaluation을 정의한 후에는 Model 객체나 LLM 애플리케이션 로직이 담긴 맞춤형 함수를 대상으로 평가를 실행할 수 있습니다. .evaluate()를 호출할 때마다 _평가 run_이 트리거됩니다. Evaluation 객체는 설계도이고, 각 run은 그 설정에서 애플리케이션이 얼마나 잘 동작하는지 측정한 결과라고 생각하면 됩니다.
평가를 시작하려면 다음 단계를 완료하세요.
  1. Evaluation 객체 생성
  2. 예시 데이터셋 정의
  3. 점수화 함수 정의
  4. 평가할 모델 또는 함수 정의
  5. 평가 실행
이 단계를 마치면 재사용 가능한 평가 설정과 함께, Weights & Biases UI에서 결과를 확인할 수 있는 평가 run이 만들어집니다. 전체 코드 샘플은 전체 평가 코드 예시를 참조하세요. 저장된 뷰나 명령형 평가 같은 고급 평가 기능도 자세히 알아볼 수 있습니다.

Evaluation 객체 생성하기

평가 설정을 구성하려면 먼저 Evaluation 객체를 생성해야 합니다. Evaluation은 예시 데이터, 점수화 로직, 선택적 전처리로 구성되며, 이후 이 객체를 사용해 하나 이상의 평가를 실행합니다. Weave는 각 예시를 애플리케이션에 전달한 뒤, 여러 맞춤형 점수화 함수로 출력에 점수를 매깁니다. 이를 통해 애플리케이션의 성능을 한눈에 파악할 수 있는 뷰와 함께, 개별 출력과 점수를 자세히 살펴볼 수 있는 풍부한 UI를 제공합니다. 맞춤형 이름 지정은 선택 사항이지만, 지정해 두면 Weights & Biases UI에서 여러 평가 설정과 run을 쉽게 구분할 수 있습니다. 평가가 하나뿐이라면 이 섹션은 건너뛰어도 됩니다.

선택 사항: 맞춤형 이름 지정

평가 플로우에서 직접 지정할 수 있는 이름은 두 가지 유형입니다.

Evaluation 객체 이름 지정

Evaluation 객체 자체에 이름을 지정하려면 Evaluation 클래스에 evaluation_name 매개변수를 전달하세요. 이 이름을 사용하면 코드와 UI 목록에서 Evaluation을 쉽게 파악할 수 있습니다.

개별 평가 run 이름 지정

특정 평가 run(evaluate() 호출)에 이름을 지정하려면 display_name이 포함된 __weave 딕셔너리를 사용하세요. 이 값에 따라 해당 run이 UI에 표시되는 이름이 달라집니다.

테스트 예시 데이터셋 정의하기

먼저 평가할 예시 컬렉션을 담은 Dataset 객체 또는 예시 목록을 정의하세요. 이러한 예시는 테스트 주도 개발(TDD)의 단위 테스트처럼, 테스트하려는 실패 사례인 경우가 많습니다.
다음은 딕셔너리 목록으로 데이터셋을 정의한 예시입니다.

점수화 함수 정의하기

다음으로, 하나 이상의 점수화 함수를 만드세요. Weave는 이 함수를 사용해 Dataset의 각 예시에 점수를 매깁니다.
각 점수화 함수에는 output 매개변수가 있어야 하며, 점수가 담긴 딕셔너리를 반환해야 합니다. 필요하다면 예시의 다른 입력을 함께 받을 수도 있습니다.점수화 함수에는 output 키워드 인수가 반드시 있어야 하지만, 나머지 인수는 사용자가 정의하며 데이터셋 예시에서 값을 가져옵니다. Weave는 인수 이름과 일치하는 딕셔너리 키를 사용해 필요한 키만 가져옵니다.
Scorer가 output 인수를 받아야 하는데 전달되지 않는다면, 레거시 model_output 키를 사용하고 있지 않은지 확인하세요. 이 문제를 해결하려면 Scorer 함수에서 output을 키워드 인수로 사용하도록 수정하세요.
다음 예시의 Scorer 함수 match_score1은 examples 딕셔너리의 expected 값을 사용해 점수를 매깁니다.

선택: 맞춤형 Scorer 클래스 정의하기

애플리케이션에 따라 맞춤형 Scorer 클래스가 필요할 수 있습니다. 예를 들어, 특정 매개변수(예: 채팅 모델, 프롬프트)와 행별 점수화 방식, 집계 점수 계산 방식을 정해 둔 표준화된 LLMJudge 클래스를 만들 수 있습니다.자세한 내용은 RAG 애플리케이션의 모델 기반 평가에서 Scorer 클래스 정의에 관한 튜토리얼을 참조하세요.

평가할 모델 또는 함수 정의하기

Model을 평가하려면 Evaluation을 사용하여 .evaluate()를 호출하세요. 여러 값으로 실험하면서 Weave에 캡처하려는 매개변수가 있다면 Model 객체를 사용하세요.
이 코드는 각 예시에 대해 predict를 실행하고, 각 점수화 함수로 출력을 채점합니다.

선택: 평가할 함수 정의하기

@weave.op()로 추적되는 맞춤형 함수를 평가할 수도 있습니다.

평가 실행하기

Evaluation 객체, 데이터셋, Scorer, 모델을 모두 정의했다면 이제 평가를 실행하고 결과를 Weave에 캡처할 수 있습니다. 평가를 실행하려면 Evaluation 객체에서 .evaluate()를 호출하세요.
evaluation이라는 Evaluation 객체와 평가할 model이라는 Model 객체가 있다고 가정할 때, 다음 코드는 평가 run을 생성합니다.

선택: 여러 번 반복 실행하기

Evaluation 객체에 trials 매개변수를 설정하면 각 예시를 여러 번 실행할 수 있습니다.
이 run은 각 예시를 모델에 세 번씩 전달하며, Weave는 각 실행에 개별적으로 점수를 매겨 표시합니다.

전체 평가 코드 예시

다음 예시는 앞의 모든 단계를 실행 가능한 하나의 스크립트로 통합한 것입니다. 평가 워크플로를 자신의 애플리케이션에 맞게 조정할 때 레퍼런스로 활용하세요.
다음 코드 샘플은 평가 run의 시작부터 종료까지 전체 과정을 보여 줍니다. match_score1 및 match_score2 점수화 함수는 examples 딕셔너리를 사용하여 prompt 값을 기준으로 MyModel을 평가하고, 맞춤형 함수 function_to_evaluate도 평가합니다. Model과 함수의 평가 run은 모두 asyncio.run(evaluation.evaluate())로 호출합니다.
평가 대표 이미지

고급 평가 사용법

다음 섹션에서는 데이터셋 전처리, 서드파티 데이터셋 인테그레이션, 저장된 UI 뷰, 명령형 로깅 API 등 더 복잡한 평가 워크플로에 활용할 수 있는 선택 기능을 설명합니다.

평가 전에 데이터셋 행 형식 지정하기

Weave는 입력을 모델의 예측 함수에 전달하기 전에만 preprocess_model_input 함수를 적용합니다. Scorer 함수는 항상 전처리되지 않은 원본 데이터셋 예시를 받습니다.
preprocess_model_input 매개변수를 사용하면 Weave가 데이터셋 예시를 평가 함수에 전달하기 전에 예시를 변환할 수 있습니다. 이 매개변수는 다음과 같은 경우에 유용합니다.
  • 모델이 기대하는 입력에 맞게 필드 이름을 변경해야 하는 경우
  • 데이터를 올바른 형식으로 변환해야 하는 경우
  • 필드를 추가하거나 제거해야 하는 경우
  • 각 예시에 추가 데이터를 로드해야 하는 경우
다음은 preprocess_model_input을 사용하여 필드 이름을 변경하는 예시입니다.
이 예제의 데이터셋에는 input_text 필드를 가진 예시가 들어 있지만, 평가 함수는 question 매개변수를 기대합니다. preprocess_example 함수가 각 예시의 필드 이름을 변경해 주므로 평가가 올바르게 동작합니다.전처리 함수는 다음과 같이 동작합니다.
  1. 데이터셋에서 가공되지 않은 원본 예시를 받습니다.
  2. 모델이 기대하는 필드를 담은 딕셔너리를 반환합니다.
  3. Weave가 각 예시를 평가 함수에 전달하기 전에 실행됩니다.
이 방식은 필드 이름이나 구조가 모델의 기대와 다를 수 있는 외부 데이터셋을 다룰 때 유용합니다.

평가에서 HuggingFace 데이터셋 사용하기

Weave 평가에서 HuggingFace Datasets를 사용하려면 preprocess_model_input을 우회 방법으로 활용할 수 있습니다.자세한 내용은 평가에서 HuggingFace 데이터셋 사용하기 쿡북을 참조하세요.

저장된 뷰

Evals table 설정, 필터, 정렬을 저장된 뷰 형태로 저장해 두면 원하는 설정에 빠르게 액세스할 수 있습니다. 저장된 뷰는 UI와 Python SDK에서 설정하고 액세스할 수 있습니다. 자세한 내용은 저장된 뷰를 참조하세요.

명령형 평가 (EvaluationLogger)

더 유연한 평가 프레임워크가 필요하다면 Weave의 EvaluationLogger를 참고하세요. EvaluationLogger는 Python과 TypeScript 모두에서 사용할 수 있으며, 복잡한 워크플로를 더 유연하게 구성할 수 있습니다. 반면 표준 평가 프레임워크는 더 체계적인 구조와 가이드를 제공합니다.
마지막 수정일 2026년 9월 30일