weave.scorers.default_models에서 아티팩트 경로를 확인하세요.
이 Scorer들은 입력 텍스트가 안전한지 또는 품질이 높은지를 나타내는 passed 불리언 속성이 포함된 객체를 반환합니다. 이 객체에는 모델의 원시 점수 등 추가 세부 정보가 담긴 metadata 속성도 포함됩니다.
로컬 Scorer는 CPU에서도 실행할 수 있지만, Weights & Biases는 최상의 성능을 위해 GPU 사용을 권장합니다.
로컬 Scorer는 Weave Python SDK에서만 사용할 수 있으며, Weave TypeScript SDK에서는 아직 지원되지 않습니다.TypeScript에서 Weave Scorer를 사용하려면 함수 기반 Scorer를 참조하세요.
사전 요구 사항
Weave 로컬 Scorer를 사용하려면 먼저 필요한 Scorer 라이브러리가 포함된 추가 의존성을 설치하세요.Scorer 선택
다음 로컬 Scorer를 사용할 수 있습니다. 사용 사례에 맞는 Scorer를 선택한 다음, 아래의 해당 섹션에서 사용 참고 사항과 예시를 확인하세요.WeaveBiasScorerV1
이 Scorer는 성별 편향과 인종·출신 편향을 다음 두 가지 측면에서 평가합니다.
- Race and Origin: 출신 국가나 지역, 이민 신분 또는 민족에 대한 인종차별 및 편향
- Gender and Sexuality: 성차별, 여성 혐오, 동성애 혐오, 트랜스젠더 혐오 또는 성희롱
WeaveBiasScorerV1은 파인튜닝된 deberta-small-long-nli 모델을 사용합니다. 모델, 데이터셋, 보정 과정에 대한 자세한 내용은 WeaveBiasScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드의output매개변수에는 string을 전달해야 합니다.- 점수가 높을수록 텍스트에 편향이 있을 가능성이 더 높다고 예측한다는 의미입니다.
threshold매개변수에는 기본값이 설정되어 있지만, 초기화 시 재정의할 수도 있습니다.
사용 예시
WeaveToxicityScorerV1
이 Scorer는 입력 텍스트의 유해성을 다음 다섯 가지 기준으로 평가합니다.
- Race and Origin: 출신 국가나 지역, 이민 신분, 민족에 대한 인종차별 및 편향.
- Gender and Sexuality: 성차별, 여성 혐오, 동성애 혐오, 트랜스젠더 혐오 또는 성희롱.
- Religious: 특정인의 종교에 대한 편향이나 고정관념.
- Ability: 특정인의 신체적, 정신적, 지적 능력이나 장애와 관련된 편향.
- Violence and Abuse: 지나치게 노골적인 폭력 묘사, 폭력 위협 또는 폭력 선동.
WeaveToxicityScorerV1은 PleIAs의 오픈 소스 Celadon 모델을 사용합니다. 자세한 내용은 WeaveToxicityScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드의output매개변수에는 string을 전달해야 합니다.- 모델은 다섯 가지 범주별로
0에서3까지의 점수를 반환합니다.- 이 점수의 합계가
total_threshold(기본값5)를 초과하면 해당 입력은 유해한 것으로 플래그 지정됩니다. - 어느 한 범주의 점수라도
category_threshold(기본값2)보다 높으면 해당 입력은 유해한 것으로 플래그 지정됩니다.
- 이 점수의 합계가
- 필터링을 더 엄격하게 적용하려면 초기화할 때
category_threshold또는total_threshold를 재정의하세요.
- 모델은 다섯 가지 범주별로
사용 예시
WeaveHallucinationScorerV1
이 Scorer는 입력 데이터를 기준으로 AI 시스템의 출력에 할루시네이션이 포함되어 있는지 확인합니다.
WeaveHallucinationScorerV1은 Vectara의 오픈 소스 HHEM 2.1 모델을 사용합니다. 자세한 내용은 WeaveHallucinationScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드를 호출할 때는query및output매개변수에 값을 전달해야 합니다.- 컨텍스트는
output매개변수에 string 또는 string 목록 형식으로 전달해야 합니다. - 출력 점수가 높을수록 출력에 할루시네이션이 포함되어 있을 가능성이 높다고 예측한다는 의미입니다.
threshold매개변수에는 기본값이 설정되어 있지만 초기화 시 재정의할 수 있습니다.
- 컨텍스트는
사용 예시
WeaveContextRelevanceScorerV1
RAG 시스템을 평가할 때 이 Scorer를 사용하세요. 이 Scorer는 쿼리와 컨텍스트가 얼마나 관련 있는지를 점수로 평가합니다.
WeaveContextRelevanceScorerV1은 tasksource의 deberta-small-long-nli 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveContextRelevanceScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드에는query및output값이 필요합니다.- 컨텍스트는
output매개변수(string 또는 string 목록)로 전달해야 합니다. - 점수가 높을수록 컨텍스트가 쿼리와 관련이 있을 가능성이 높다고 예측한 것입니다.
score메서드에verbose=True를 전달하면 청크별 점수를 조회할 수 있습니다.
- 컨텍스트는
사용 예시
WeaveCoherenceScorerV1
이 Scorer는 입력 텍스트가 일관성 있는지 확인합니다.
WeaveCoherenceScorerV1은 tasksource의 deberta-small-long-nli 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveCoherenceScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드를 사용하려면query및output매개변수에 텍스트를 전달해야 합니다.- 출력 점수가 높을수록 일관성이 있을 가능성이 높다고 예측한다는 의미입니다.
사용 예시
WeaveFluencyScorerV1
이 Scorer는 입력 텍스트가 유창한지, 즉 읽기 쉽고 사람이 쓴 자연스러운 언어에 가까운지 확인합니다. 문법, 구문, 전반적인 가독성을 평가합니다.
WeaveFluencyScorerV1은 AnswerDotAI의 ModernBERT-base 모델을 파인튜닝한 모델을 사용합니다. 자세한 내용은 WeaveFluencyScorerV1 W&B Report를 참조하세요.
사용 참고 사항
score메서드를 사용하려면output매개변수에 텍스트를 전달해야 합니다.- 출력 점수가 높을수록 유창성이 높습니다.
사용 예시
WeaveTrustScorerV1
여러 Scorer를 하나씩 실행하는 대신, 이를 결합한 단일 신뢰 시그널이 필요할 때 이 Scorer를 사용하세요.
WeaveTrustScorerV1은 RAG 시스템용 복합 Scorer입니다. 다른 Scorer들을 Critical과 Advisory 두 범주로 묶어 모델 출력의 신뢰도를 평가하고, 복합 점수에 따라 다음 신뢰 수준 중 하나를 반환합니다.
high: 감지된 문제가 없습니다.medium: Advisory 문제만 감지되었습니다.low: Critical 문제가 감지되었거나 입력이 비어 있습니다.
low가 됩니다. Advisory Scorer를 통과하지 못하면 medium이 됩니다.
- Critical:
-
WeaveToxicityScorerV1 -
WeaveHallucinationScorerV1 -
WeaveContextRelevanceScorerV1 -
Advisory:
WeaveFluencyScorerV1WeaveCoherenceScorerV1
-
사용 참고 사항
- 이 Scorer를 사용하여 RAG 파이프라인을 평가하세요.
- 올바르게 점수화하려면
query,context,output키가 필요합니다.
- 올바르게 점수화하려면
사용 예시
PresidioScorer
이 Scorer는 Presidio 라이브러리를 사용하여 AI 시스템의 입력과 출력에 포함된 개인 식별 정보(PII)를 감지합니다.
사용 참고 사항
- 이메일이나 전화번호 같은 특정 엔티티 유형을 감지하려면
selected_entities매개변수에 Presidio 엔티티 목록을 전달하세요. 지정하지 않으면 Presidio는 기본 엔티티 목록에 있는 모든 엔티티 유형을 감지합니다.custom_recognizers매개변수에presidio.EntityRecognizer인스턴스 목록을 전달하여 맞춤형 인식기를 사용할 수 있습니다.- 영어 이외의 입력을 처리하려면
language매개변수로 언어를 지정하세요.