アノテーションキューを設定する

​

概要

• トレースの手動採点: 分野の専門家に、モデル出力を正確性、品質、文体の観点から評価してもらいます。
• 失敗分析: 失敗モード (ハルシネーション、回答拒否、ループ) にアノテーションを付け、モデルがどこでうまく動作しないかを把握します。
• ドメインエキスパートによるレビュー: 医療、法律、安全性の専門家が、タスクに特化した画面で内容をレビューできるようにします。
• データセットの作成: アノテーション済みのトレースを評価用データセットまたはトレーニングデータセットに変換します。

​

エンドツーエンドのワークフロー

1. アノテーション フィールドを定義します。
2. アノテーションキューを作成します。
3. レビュー対象のトレースをキューに読み込みます。
4. ドメインエキスパートがレビューを進める間、進捗状況を監視します。
5. 完了したアノテーションをフィルターしてエクスポートします。

​

アノテーション フィールドを定義する

• 正確性や許容可否などの真偽値による判定。
• 品質や信頼度などの数値または整数値。
• 失敗モードや意図などのカテゴリラベル。
• 定性的なフィードバックを入力するための任意形式のテキスト。

1. Forge にアクセスし、project を選択します。
2. Weave プロジェクトのサイドバーで Annotate をクリックします。Annotate が表示されない場合は、More のメニュー内にネストされている可能性があります。
3. タブバーで Fields タブをクリックします。
4. Fields 表のツールバーで New Field をクリックします。
5. Create annotation field モーダルダイアログで、次の項目を設定します。
   • Type: Boolean、Integer、Number、String、またはカテゴリオプション。
   • Name: アノテーターに表示するフィールド名。
   • Description (オプション) : アノテーターに表示する、このフィールドの評価方法の詳細。
6. Create annotation field をクリックしてフィールドを保存します。

​

アノテーションキューを作成する

• アノテーション フィールドのセット。
• アノテーターにタスクの手順を示すガイドライン。
• レビュー待ちのトレース項目のコレクション。

1. Weave プロジェクトのサイドバーで、Annotate をクリックします。
2. タブバーで、Queues タブをクリックします。
3. Queues 表のツールバーで、Create Queue をクリックします。
4. Create Annotation Queue モーダルダイアログで、以下を設定します。
   • Queue name: アノテーターが作業を行うために選択するキュー名です。
   • Guidelines (オプション): アノテーターへの追加の指示です。
5. Next をクリックします。
6. Manage fields をクリックし、このレビュー作業に含めるアノテーション フィールドを選択します。project の既存のアノテーション フィールドはすべて選択できます。
7. キューに含めるすべてのフィールドを選択したら、Create Queue をクリックしてキューを保存します。

​

キューにトレースを追加する

1. Weave プロジェクトのサイドバーで、Traces をクリックします。
2. Traces の表のツールバーで、必要に応じてトレースをフィルターします (ハルシネーションスコア、失敗モード、特定の op など) 。
3. 表で、アノテーション対象のトレースを選択します。
4. 表の action バーで Add to queue をクリックし、選択した行をアノテーションキューに追加します。

5. Add to annotation queue モーダルダイアログで、次の項目を設定します。
   • Queue Name: リストから、トレースの追加先となる既存のキュー名を選択します。
   • Select trace data to display: アノテーターが結果を評価する際に表示する Weave のトレースデータ要素を選択します。
     • Inputs: アノテーション中に表示するトレースの入力フィールドを選択します。
     • Outputs: アノテーション中に表示するトレースの出力フィールドを選択します。
6. Add [COUNT] traces to annotation queue をクリックし、これらのトレースをアノテーションキューのレビュー対象として割り当てます。

​

レビューの進捗を監視する

1. Weave プロジェクトのサイドバーで、Annotate をクリックします。
2. タブバーで、Queues タブをクリックします。
3. Annotation Queues 表で、キューの名をクリックしてキュー内の項目を開きます。
4. Queue のヘッダーバーでリンクボタンをクリックし、このキューへの直接リンクをコピーします。ブラウザーのアドレスバーから URL をコピーすることもできます。

• Not started: キューに項目はありますが、アノテーションはまだ送信されていません。
• In progress: 少なくとも 1 つの項目がレビューされています。
• Completed: すべての項目がレビューされています。

​

アノテーションのフィルターとエクスポート

• キュー割り当てとアノテーション完了でトレースをフィルターします。
• 再利用のためにフィルターされたビューを保存します。
• 評価またはトレーニングワークフローのためにアノテーション済みトレースをデータセットにエクスポートします。

​

アノテーション済みトレースをフィルターする

1. Weave プロジェクトのサイドバーで、Traces をクリックします。
2. Traces の表のツールバーで、フィルター をクリックします。
3. フィルター行に次の 3 つの値を設定します。
   • Column に「Queue」と入力し、Enter キーを押します。
   • 2 番目のリストで、Text: “is” を選択します。
   • Select a queue で、対象のアノテーションキュー名を選択します。
4. さらに「完了済み」のキューアイテムのみに絞り込むには、+ Add フィルター をクリックします。
   • Column に「feedback」と入力します。アノテーションの一覧がダイアログに表示され、アノテーションフィールド名も含まれます。キューの必須フィールドを選択します。
   • 2 番目のリストで、Other: “is not empty” を選択します。

5. フィルター行は自動的に適用されます。ページ内の別の場所をクリックすると、フィルターのエントリが閉じます。
6. オプション: すばやくアクセスできるように、ビューとして保存します。Traces の表のヘッダーで、Save View をクリックします。

​

アノテーション済みトレースをデータセットにエクスポートする

​

アノテーション済みトレースをデータセットに追加

1. Weave プロジェクトのサイドバーで、Tracesをクリックします。
2. Traces の表で、エクスポートしたいトレースを選択します。
3. 表のツールバーで、データセットに追加をクリックします。画面の指示に従って追加を完了します。

​

アノテーションにプログラムからアクセスする

• Project: Weights & Biasesプロジェクト名 (projectまたはteam/projectの形式) 。CoreWeave Forgeチーム (「team/project」など) を指定しない場合、デフォルトのチームが使用されます。
• Queue ID: アノテーションキューの一意の ID。

1. Annotation Queues表で、キューの名を選択してアイテムを開きます。
2. ページURLの末尾からIDをコピーします。

https://wandb.ai/.../annotation-queues/019c0f63-7acb-7497-8f87-08873368fcd4

import weave
from weave.trace_server.trace_server_interface import AnnotationQueueItemsQueryReq

# プロジェクトとキューの識別子をご自身の値に更新してください。
PROJECT = "your-team-name/your-project-name"
QUEUE_ID = "019c0f63-7acb-7497-8f87-08873368fcd4"

# Weave を初期化します。
client = weave.init(PROJECT)

# キュー内の Call から Call ID を取得します。
calls = client.server.annotation_queue_items_query(
    AnnotationQueueItemsQueryReq(
        project_id=PROJECT,
        queue_id=QUEUE_ID,
    )
)

# Call を反復処理し、フィードバックを取得します。
for i, item in enumerate(calls.items):
    call = client.get_call(call_id=item.call_id, include_feedback=True)
    feedback = call.feedback or {}

    # Call のフィードバック項目の総数をカウントします。
    total_feedback_items = len(feedback)

    print(f"\nItem {i}, call_id: {item.call_id}, total feedback items: {total_feedback_items}")

    if not feedback:
        print("No feedback for item")
        continue

    # 最初の アノテーション 値を取得します。 
    # フィールド アノテーション は反復可能な順序で追加されないため、最初のフィールドは変わります。
    field_name = next(iter(feedback))
    field_value = feedback[0]

    print(f"  {field_name}: {field_value}")