Skip to main content
Weave의 로컬 Scorer는 사용자의 머신에서 로컬로 실행되어 지연 시간이 매우 짧은 소형 언어 모델 모음입니다. 이 모델들은 AI 시스템의 입력, 컨텍스트, 출력의 안전성과 품질을 평가합니다. 이 페이지에서는 Weave의 로컬 Scorer로 AI 시스템의 안전성과 품질을 평가하는 방법을 설명하고, 사용 가능한 각 Scorer를 사용 참고 사항 및 예시와 함께 살펴봅니다. 이 가이드를 참고하여 사용 사례에 맞는 Scorer를 선택하고, 의존성을 설치한 후, AI 시스템의 입력, 컨텍스트 또는 출력에 Scorer를 추가하세요. 이 모델 중 일부는 Weights & Biases가 파인튜닝한 모델이고, 나머지는 커뮤니티에서 트레이닝한 최신 오픈 소스 모델입니다. 트레이닝 및 평가 과정은 W&B Reports에 정리되어 있습니다. 전체 세부 정보는 W&B Reports 목록을 참조하세요. 모델 가중치는 W&B Artifacts에 공개되어 있으며, Scorer 클래스를 인스턴스화하면 Weave가 자동으로 다운로드합니다. 직접 다운로드하려면 weave.scorers.default_models에서 아티팩트 경로를 확인하세요. 이 Scorer들은 입력 텍스트가 안전한지 또는 품질이 높은지를 나타내는 passed 불리언 속성이 포함된 객체를 반환합니다. 이 객체에는 모델의 원시 점수 등 추가 세부 정보가 담긴 metadata 속성도 포함됩니다. 로컬 Scorer는 CPU에서도 실행할 수 있지만, Weights & Biases는 최상의 성능을 위해 GPU 사용을 권장합니다.
로컬 Scorer는 Weave Python SDK에서만 사용할 수 있으며, Weave TypeScript SDK에서는 아직 지원되지 않습니다.TypeScript에서 Weave Scorer를 사용하려면 함수 기반 Scorer를 참조하세요.

사전 요구 사항

Weave 로컬 Scorer를 사용하려면 먼저 필요한 Scorer 라이브러리가 포함된 추가 의존성을 설치하세요.
의존성을 설치했다면 이제 평가에 사용할 Scorer를 선택할 수 있습니다.

Scorer 선택

다음 로컬 Scorer를 사용할 수 있습니다. 사용 사례에 맞는 Scorer를 선택한 다음, 아래의 해당 섹션에서 사용 참고 사항과 예시를 확인하세요.

WeaveBiasScorerV1

이 Scorer는 성별 편향과 인종·출신 편향을 다음 두 가지 측면에서 평가합니다.
  • Race and Origin: 출신 국가나 지역, 이민 신분 또는 민족에 대한 인종차별 및 편향
    • Gender and Sexuality: 성차별, 여성 혐오, 동성애 혐오, 트랜스젠더 혐오 또는 성희롱
WeaveBiasScorerV1은 파인튜닝된 deberta-small-long-nli 모델을 사용합니다. 모델, 데이터셋, 보정 과정에 대한 자세한 내용은 WeaveBiasScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드의 output 매개변수에는 string을 전달해야 합니다.
    • 점수가 높을수록 텍스트에 편향이 있을 가능성이 더 높다고 예측한다는 의미입니다.
    • threshold 매개변수에는 기본값이 설정되어 있지만, 초기화 시 재정의할 수도 있습니다.

사용 예시


WeaveToxicityScorerV1

이 Scorer는 입력 텍스트의 유해성을 다음 다섯 가지 기준으로 평가합니다.
  • Race and Origin: 출신 국가나 지역, 이민 신분, 민족에 대한 인종차별 및 편향.
    • Gender and Sexuality: 성차별, 여성 혐오, 동성애 혐오, 트랜스젠더 혐오 또는 성희롱.
    • Religious: 특정인의 종교에 대한 편향이나 고정관념.
    • Ability: 특정인의 신체적, 정신적, 지적 능력이나 장애와 관련된 편향.
    • Violence and Abuse: 지나치게 노골적인 폭력 묘사, 폭력 위협 또는 폭력 선동.
WeaveToxicityScorerV1은 PleIAs의 오픈 소스 Celadon 모델을 사용합니다. 자세한 내용은 WeaveToxicityScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드의 output 매개변수에는 string을 전달해야 합니다.
    • 모델은 다섯 가지 범주별로 0에서 3까지의 점수를 반환합니다.
      • 이 점수의 합계가 total_threshold(기본값 5)를 초과하면 해당 입력은 유해한 것으로 플래그 지정됩니다.
      • 어느 한 범주의 점수라도 category_threshold(기본값 2)보다 높으면 해당 입력은 유해한 것으로 플래그 지정됩니다.
    • 필터링을 더 엄격하게 적용하려면 초기화할 때 category_threshold 또는 total_threshold를 재정의하세요.

사용 예시


WeaveHallucinationScorerV1

이 Scorer는 입력 데이터를 기준으로 AI 시스템의 출력에 할루시네이션이 포함되어 있는지 확인합니다. WeaveHallucinationScorerV1은 Vectara의 오픈 소스 HHEM 2.1 모델을 사용합니다. 자세한 내용은 WeaveHallucinationScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드를 호출할 때는 query 및 output 매개변수에 값을 전달해야 합니다.
    • 컨텍스트는 output 매개변수에 string 또는 string 목록 형식으로 전달해야 합니다.
    • 출력 점수가 높을수록 출력에 할루시네이션이 포함되어 있을 가능성이 높다고 예측한다는 의미입니다.
    • threshold 매개변수에는 기본값이 설정되어 있지만 초기화 시 재정의할 수 있습니다.

사용 예시


WeaveContextRelevanceScorerV1

RAG 시스템을 평가할 때 이 Scorer를 사용하세요. 이 Scorer는 쿼리와 컨텍스트가 얼마나 관련 있는지를 점수로 평가합니다. WeaveContextRelevanceScorerV1은 tasksource의 deberta-small-long-nli 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveContextRelevanceScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드에는 query 및 output 값이 필요합니다.
    • 컨텍스트는 output 매개변수(string 또는 string 목록)로 전달해야 합니다.
    • 점수가 높을수록 컨텍스트가 쿼리와 관련이 있을 가능성이 높다고 예측한 것입니다.
    • score 메서드에 verbose=True를 전달하면 청크별 점수를 조회할 수 있습니다.

사용 예시


WeaveCoherenceScorerV1

이 Scorer는 입력 텍스트가 일관성 있는지 확인합니다. WeaveCoherenceScorerV1은 tasksource의 deberta-small-long-nli 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveCoherenceScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드를 사용하려면 query 및 output 매개변수에 텍스트를 전달해야 합니다.
    • 출력 점수가 높을수록 일관성이 있을 가능성이 높다고 예측한다는 의미입니다.

사용 예시


WeaveFluencyScorerV1

이 Scorer는 입력 텍스트가 유창한지, 즉 읽기 쉽고 사람이 쓴 자연스러운 언어에 가까운지 확인합니다. 문법, 구문, 전반적인 가독성을 평가합니다. WeaveFluencyScorerV1은 AnswerDotAI의 ModernBERT-base 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveFluencyScorerV1 W&B Report를 참조하세요.

사용 참고 사항

  • score 메서드를 사용하려면 output 매개변수에 텍스트를 전달해야 합니다.
    • 출력 점수가 높을수록 유창성이 높습니다.

사용 예시


WeaveTrustScorerV1

여러 Scorer를 하나씩 실행하는 대신, 이를 결합한 단일 신뢰 시그널이 필요할 때 이 Scorer를 사용하세요. WeaveTrustScorerV1은 RAG 시스템용 복합 Scorer입니다. 다른 Scorer들을 Critical과 Advisory 두 범주로 묶어 모델 출력의 신뢰도를 평가하고, 복합 점수에 따라 다음 신뢰 수준 중 하나를 반환합니다.
  • high: 감지된 문제가 없습니다.
    • medium: Advisory 문제만 감지되었습니다.
    • low: Critical 문제가 감지되었거나 입력이 비어 있습니다.
입력이 Critical Scorer를 하나라도 통과하지 못하면 신뢰 수준은 low가 됩니다. Advisory Scorer를 통과하지 못하면 medium이 됩니다.
  • Critical:
    • WeaveToxicityScorerV1
    • WeaveHallucinationScorerV1
    • WeaveContextRelevanceScorerV1
    • Advisory:
      • WeaveFluencyScorerV1
      • WeaveCoherenceScorerV1

사용 참고 사항

  • 이 Scorer를 사용하여 RAG 파이프라인을 평가하세요.
    • 올바르게 점수화하려면 query, context, output 키가 필요합니다.

사용 예시


PresidioScorer

이 Scorer는 Presidio 라이브러리를 사용하여 AI 시스템의 입력과 출력에 포함된 개인 식별 정보(PII)를 감지합니다.

사용 참고 사항

  • 이메일이나 전화번호 같은 특정 엔티티 유형을 감지하려면 selected_entities 매개변수에 Presidio 엔티티 목록을 전달하세요. 지정하지 않으면 Presidio는 기본 엔티티 목록에 있는 모든 엔티티 유형을 감지합니다.
    • custom_recognizers 매개변수에 presidio.EntityRecognizer 인스턴스 목록을 전달하여 맞춤형 인식기를 사용할 수 있습니다.
    • 영어 이외의 입력을 처리하려면 language 매개변수로 언어를 지정하세요.

사용 예시

마지막 수정일 2026년 9월 30일