어노테이션 큐 provide a focused review interface for domain experts. 한 번에 한 항목을 검토하고, 제공된 context를 확인한 후, 사전 정의된 필드를 사용하여 구조화된 피드백을 제출합니다. 큐를 완료하면 팀이 LLM 출력를 평가하고 개선하는 데 사용할 수 있는 전문가 판단에 기여하게 됩니다.
기본 모델이나 tracing system을 이해할 필요 없이 검토를 완료할 수 있습니다. 이를 통해 외부 전문가도 더 넓은 프로젝트 context 없이 데이터를 검토할 수 있습니다.
어노테이션 워크플로
이 섹션에서는 팀에서 공유한 큐의 항목을 검토하는 엔드투엔드 프로세스를 안내합니다.
어노테이터로서 LLM 응답의 정확도를 검토하는 것이 작업입니다. Weave는 피드백을 데이터에 대한 어노테이션으로 저장합니다.
어노테이션 큐를 검토하려면:
- 팀에서 제공한 큐 링크를 사용하여 공유된 어노테이션 큐를 엽니다.
- 각 항목을 검토합니다. 큐의 항목을 언제든지 앞뒤로 이동할 수 있습니다.
- 제공된 어노테이션 필드를 사용하여 어노테이션을 제출합니다.
Weave는 항목을 제출한 후 자동으로 진행 상황을 저장합니다. 작업을 일시 중지했다가 나중에 재개해야 하는 경우, 검토는 자동으로 첫 번째 미완료 항목에서 재개됩니다. 모든 항목을 검토한 후에는 Annotation Queue table에 작업 완료가 반영됩니다.
큐 항목 검토
다음은 큐의 단일 항목에 대한 어노테이션을 제출하는 검토 인터페이스와 방법을 설명합니다.
각 항목에 대해 검토 인터페이스는 두 개의 패널을 표시합니다:
- 트레이스 패널은 선택된 입력 컨텍스트(예: 프롬프트, 문서 또는 이미지)와 해당 모델 응답 또는 결정을 표시합니다.
- 항목 패널은 어노테이션 필드가 포함된 어노테이션 폼을 포함합니다.
큐에 제공된 지침에 따라 각 어노테이션 필드를 작성한 다음 Submit and next를 클릭하여 이 항목을 저장하고 다음 항목으로 진행합니다.
트레이스 패널 헤더에서 트레이스 ID 접미사(예: “b3ea”)를 클릭하면 호출에 대한 전체 트레이스 세부 정보를 표시하는 패널이 열리며, 여기서 트레이스를 검사하고 제공된 어노테이션을 조회하거나 비교할 수 있습니다.
다른 사람이 이미 검토한 항목에 대해 피드백을 제출하면, 원래 어노테이터의 피드백에 추가로 사용자의 피드백이 저장됩니다.
