간소화된 검토 인터페이스를 사용하여 트레이스 항목을 평가하고 구조화된 피드백을 제출합니다.
어노테이션 큐 provide a focused review interface for domain experts. 한 번에 한 항목을 검토하고, 제공된 context를 확인한 후, 사전 정의된 필드를 사용하여 구조화된 피드백을 제출합니다. 큐를 완료하면 팀이 LLM 출력를 평가하고 개선하는 데 사용할 수 있는 전문가 판단에 기여하게 됩니다.기본 모델이나 tracing system을 이해할 필요 없이 검토를 완료할 수 있습니다. 이를 통해 외부 전문가도 더 넓은 프로젝트 context 없이 데이터를 검토할 수 있습니다.
다음은 큐의 단일 항목에 대한 어노테이션을 제출하는 검토 인터페이스와 방법을 설명합니다.각 항목에 대해 검토 인터페이스는 두 개의 패널을 표시합니다:
트레이스 패널은 선택된 입력 컨텍스트(예: 프롬프트, 문서 또는 이미지)와 해당 모델 응답 또는 결정을 표시합니다.
항목 패널은 어노테이션 필드가 포함된 어노테이션 폼을 포함합니다.
큐에 제공된 지침에 따라 각 어노테이션 필드를 작성한 다음 Submit and next를 클릭하여 이 항목을 저장하고 다음 항목으로 진행합니다.
트레이스 패널 헤더에서 트레이스 ID 접미사(예: “b3ea”)를 클릭하면 호출에 대한 전체 트레이스 세부 정보를 표시하는 패널이 열리며, 여기서 트레이스를 검사하고 제공된 어노테이션을 조회하거나 비교할 수 있습니다.
큐의 항목을 이미 검토한 어노테이터가 있는 경우, 검토 인터페이스의 두 패널 헤더 모두 Has annotation 및 Response submitted 표시기가 나타납니다.다른 사람이 이미 검토한 항목에 대해 어노테이션을 제공할 수 있습니다. 이 경우 어노테이션 제출 버튼은 여전히 Edit annotation으로 표시되지만, 제출하면 사용자의 응답으로 새 어노테이션 항목이 생성됩니다.
다른 사람이 이미 검토한 항목에 대해 피드백을 제출하면, 원래 어노테이터의 피드백에 추가로 사용자의 피드백이 저장됩니다.
