アノテーションキューは、ドメインエキスパート向けの集中レビューインターフェースを提供します。1つのアイテムを一度にレビューし、提供されたコンテキストを調べ、事前定義されたフィールドを使用して構造化フィードバックを送信します。キューを完了することで、チームがLLMの出力を評価および改善するために使用できる専門家の判断に貢献します。
レビューを完了するために、基盤となるモデルやトレースシステムを理解する必要はありません。これにより、外部の専門家はより広範なプロジェクトコンテキストを必要とせずにデータをレビューできます。
アノテーション ワークフロー
このセクションでは、共有されたキュー内のアイテムをレビューするエンドツーエンドのプロセスについて説明します。
アノテーターとして、あなたのタスクは LLM の応答の精度をレビューすることです。Weave はフィードバックをデータのアノテーションとして保存します。
アノテーションキューをレビューするには:
- チームから提供されたキューのリンクを使用して、共有されたアノテーションキューを開きます。
- 各アイテムをレビューします。キュー内のアイテムをいつでも前後に移動できます。
- 提供されたアノテーション フィールドを使用してアノテーションを送信します。
Weave は、アイテムを送信した後に自動的に進捗を保存します。作業を一時停止して後で再開する必要がある場合、レビューは最初の未完了のアイテムで自動的に再開されます。すべてのアイテムをレビューした後、アノテーション キュー 表に作業の完了が反映されます。
キュー項目のレビュー
以下では、キュー内の単一項目のアノテーションを送信するためのレビューインターフェースについて説明します。
各項目について、レビューインターフェースには 2 つのペインが表示されます。
- トレースペイン: 選択された入力コンテキスト (プロンプト、ドキュメント、画像など) と対応するモデル応答または決定を表示します。
- 項目ペイン: アノテーション フィールドを含むアノテーション エントリフォームが含まれます。
キューに提供された指示に従って各アノテーション フィールドを完了し、Submit and next をクリックしてこの項目を保存し、次に進みます。
トレースペインのヘッダーで、トレース ID の接尾辞 (例: “b3ea”) をクリックすると、Call の完全なトレース詳細を表示するパネルが開き、トレースを検査したり、提供されたアノテーションを表示または比較したりできます。
すでに他の誰かがレビューした項目に対してフィードバックを送信した場合、あなたのフィードバックは元のアノテーターのフィードバックに加えて保存されます。
