> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# アノテーションキューを設定する
> アノテーションキューを作成し、ドメインエキスパートにトレースをルーティングして、構造化されたフィードバックをエクスポートします。
export const GitHubLink = ({url, compact = false}) =>
{compact ? "View source" : <>
GitHub source
}
;
export const ColabLink = ({url}) =>
Try in Colab
;
概要
このガイドでは、選択したトレースについてドメインエキスパートから構造化されたフィードバックを収集できるよう、Weave でアノテーションキューを設定する方法を説明します。評価、失敗分析、データセットの作成に専門家がラベル付けしたデータが必要な場合は、アノテーションキューを使用します。また、レビュー担当者は Weights & Biases の UI 全体を操作せずに、選定されたトレースに集中できます。
アノテーションキューを使用すると、ドメインエキスパートが Weights & Biases の UI 全体を操作しなくても、選択したトレースを構造化されたレビューに回せます。収集するフィードバックを定義し、レビューが必要なトレースを選択した後、完了したアノテーションを分析やデータセットの作成のためにエクスポートできます。ユースケースには次のようなものがあります。
* **トレースの手動採点**: 分野の専門家に、モデル出力を正確性、品質、文体の観点から評価してもらいます。
* **失敗分析**: 失敗モード (ハルシネーション、回答拒否、ループ) にアノテーションを付け、モデルがどこでうまく動作しないかを把握します。
* **ドメインエキスパートによるレビュー**: 医療、法律、安全性の専門家が、タスクに特化した画面で内容をレビューできるようにします。
* **データセットの作成**: アノテーション済みのトレースを評価用データセットまたはトレーニングデータセットに変換します。
エンドツーエンドのワークフロー
次のワークフローは、アノテーションキューの使い方によりレビューを取得する方法の概要です。各ステップの詳細は、以下のセクションで説明します。
1. アノテーション フィールドを定義します。
2. アノテーションキューを作成します。
3. レビュー対象のトレースをキューに読み込みます。
4. ドメインエキスパートがレビューを進める間、進捗状況を監視します。
5. 完了したアノテーションをフィルターしてエクスポートします。
アノテーション フィールドを定義する
アノテーションキューを作成する前に、キューの設定時に選択できるよう、アノテーション フィールドを定義します。アノテーション フィールドは、アノテーターが各トレース項目に提供するフィードバックを定義します。フィールドは複数のキューや project で再利用できます。
フィールドのタイプには次のものがあります。
* 正確性や許容可否などの真偽値による判定。
* 品質や信頼度などの数値または整数値。
* 失敗モードや意図などのカテゴリラベル。
* 定性的なフィードバックを入力するための任意形式のテキスト。
アノテーション フィールドを作成するには、次の手順に従います。
1. [Forge](https://forge.coreweave.com/wandb) にアクセスし、project を選択します。
2. Weave プロジェクトのサイドバーで **Annotate** をクリックします。**Annotate** が表示されない場合は、**More** のメニュー内にネストされている可能性があります。
3. タブバーで **Fields** タブをクリックします。
4. Fields 表のツールバーで **New Field** をクリックします。
5. **Create annotation field** モーダルダイアログで、次の項目を設定します。
* **Type**: Boolean、Integer、Number、String、またはカテゴリオプション。
* **Name**: アノテーターに表示するフィールド名。
* **Description** (オプション) : アノテーターに表示する、このフィールドの評価方法の詳細。
6. **Create annotation field** をクリックしてフィールドを保存します。
新しいフィールドは **Fields** タブに表示され、project 内のどのアノテーションキューにも追加できます。
アノテーションの一貫性を保つため、作成後にフィールドを編集することはできません。
アノテーションキューを作成する
アノテーション フィールドを定義したら、次のステップはアノテーターが作業に使用するキューの作成です。アノテーションキューは、以下で構成されます。
* アノテーション フィールドのセット。
* アノテーターにタスクの手順を示すガイドライン。
* レビュー待ちのトレース項目のコレクション。
アノテーションキューを作成するには、次の手順に従います。
1. Weave プロジェクトのサイドバーで、**Annotate** をクリックします。
2. タブバーで、**Queues** タブをクリックします。
3. Queues 表のツールバーで、**Create Queue** をクリックします。
4. **Create Annotation Queue** モーダルダイアログで、以下を設定します。
* **Queue name**: アノテーターが作業を行うために選択するキュー名です。
* **Guidelines** (オプション): アノテーターへの追加の指示です。
5. **Next** をクリックします。
6. **Manage fields** をクリックし、このレビュー作業に含めるアノテーション フィールドを選択します。project の既存のアノテーション フィールドはすべて選択できます。
7. キューに含めるすべてのフィールドを選択したら、**Create Queue** をクリックしてキューを保存します。
project のすべてのアノテーションキューは、Annotation Queues ページに一覧表示されます。
アノテーションキューを作成すると、評価用のフィールドとガイドラインが定義されますが、評価するデータを指定するには、キューにトレースを追加する必要があります。
キューにトレースを追加する
キューを作成したら、レビュー対象のトレースをキューに追加します。トレースは **Traces** ページから直接アノテーションキューに追加できます。
アノテーションキューにトレースを追加するには:
1. Weave プロジェクトのサイドバーで、**Traces** をクリックします。
2. Traces の表のツールバーで、必要に応じてトレースをフィルターします (ハルシネーションスコア、失敗モード、特定の op など) 。
3. 表で、アノテーション対象のトレースを選択します。
4. 表の action バーで **Add to queue** をクリックし、選択した行をアノテーションキューに追加します。
5. **Add to annotation queue** モーダルダイアログで、次の項目を設定します。
* **Queue Name**: リストから、トレースの追加先となる既存のキュー名を選択します。
* **Select trace data to display**: アノテーターが結果を評価する際に表示する Weave のトレースデータ要素を選択します。
* **Inputs**: アノテーション中に表示するトレースの入力フィールドを選択します。
* **Outputs**: アノテーション中に表示するトレースの出力フィールドを選択します。
6. **Add `[COUNT]` traces to annotation queue** をクリックし、これらのトレースをアノテーションキューのレビュー対象として割り当てます。
トレースを追加する際に、レビュー対象とするトレースの入力と出力 (またはモデルの応答) を指定できます。これにより、アノテーターには正確な判断に必要なコンテキストだけが表示されます。
レビューの進捗を監視する
トレースを追加すると、アノテーターが作業を開始でき、レビューの進捗をトラッキングできます。アノテーターがレビューを開始できるよう、キュー名を共有してください。レビューの手順については、[アノテーションキュー内の項目をレビューする](/ja/products/wandb/weave/guides/tracking/annotation-review)を参照してください。
アノテーターにアノテーションキューへの直接リンクを共有するには、次の手順に従います。
1. Weave プロジェクトのサイドバーで、**Annotate** をクリックします。
2. タブバーで、**Queues** タブをクリックします。
3. Annotation Queues 表で、キューの名をクリックしてキュー内の項目を開きます。
4. Queue のヘッダーバーでリンクボタンをクリックし、このキューへの直接リンクをコピーします。ブラウザーのアドレスバーから URL をコピーすることもできます。
Annotation Queues 表の **State** 列には、レビューの進捗が表示されます。
* **Not started**: キューに項目はありますが、アノテーションはまだ送信されていません。
* **In progress**: 少なくとも 1 つの項目がレビューされています。
* **Completed**: すべての項目がレビューされています。
Annotation Queues 表の **Calls with responses** 列には、レビューが少なくとも 1 件送信された項目の割合が、**Calls** の総数に対する百分率で表示されます。
アノテーションのフィルターとエクスポート
アノテーターがレビューを送信した後、そのフィードバックを分析、評価、またはトレーニングに活用できます。Weaveは完了したアノテーションをトレース上の構造化メタデータとして保存します。
次のことができます：
* キュー割り当てとアノテーション完了でトレースをフィルターします。
* 再利用のためにフィルターされたビューを保存します。
* 評価またはトレーニングワークフローのためにアノテーション済みトレースをデータセットにエクスポートします。
これにより、専門家による人間のフィードバックをモデル評価と反復に直接結びつけられます。
アノテーション済みトレースをフィルターする
**Traces** ページのフィルターコントロールを使用すると、アノテーションが付いたトレースのみを表示できます。
アノテーションが付いたトレースのみを表示するには、次の手順を実行します。
1. Weave プロジェクトのサイドバーで、**Traces** をクリックします。
2. Traces の表のツールバーで、**フィルター** をクリックします。
3. フィルター行に次の 3 つの値を設定します。
* **Column** に「Queue」と入力し、**Enter** キーを押します。
* 2 番目のリストで、**Text: "is"** を選択します。
* **Select a queue** で、対象のアノテーションキュー名を選択します。
4. さらに「完了済み」のキューアイテムのみに絞り込むには、**+ Add フィルター** をクリックします。
* **Column** に「feedback」と入力します。アノテーションの一覧がダイアログに表示され、アノテーションフィールド名も含まれます。キューの必須フィールドを選択します。
* 2 番目のリストで、**Other: "is not empty"** を選択します。
5. フィルター行は自動的に適用されます。ページ内の別の場所をクリックすると、フィルターのエントリが閉じます。
6. オプション: すばやくアクセスできるように、ビューとして保存します。Traces の表のヘッダーで、**Save View** をクリックします。
アノテーション済みトレースをデータセットにエクスポートする
データの使用方法に応じて、UI またはプログラムからアノテーション済みトレースをエクスポートできます。
アノテーション済みトレースをデータセットに追加
アノテーション済みトレースを選択し、**データセットに追加**をクリックして、エキスパートのラベルを評価またはトレーニングデータに含めます。
データセットにアノテーション済みトレースを追加するには：
1. Weave プロジェクトのサイドバーで、**Traces**をクリックします。
2. Traces の表で、エクスポートしたいトレースを選択します。
3. 表のツールバーで、**データセットに追加**をクリックします。画面の指示に従って追加を完了します。
データセットの使用方法の詳細については、[データセットの収集と追跡](/ja/products/wandb/weave/guides/core-types/datasets)を参照してください。
アノテーションにプログラムからアクセスする
UIワークフローに加えて、アノテーションデータをプログラムから読み取ることができます。これは分析の自動化、カスタムreportの作成、またはアノテーションをダウンストリームパイプラインに統合するのに役立ちます。アノテーションをプログラムから統合するには、プロジェクト名とキューIDを知る必要があります：
* **Project**: Weights & Biasesプロジェクト名 (projectまたはteam/projectの形式) 。CoreWeave Forgeチーム (「team/project」など) を指定しない場合、デフォルトのチームが使用されます。
* **Queue ID**: アノテーションキューの一意の ID。
キューIDを検索するには：
1. **Annotation Queues**表で、キューの名を選択してアイテムを開きます。
2. ページURLの末尾からIDをコピーします。
**例**
```text theme={"system"}
https://wandb.ai/.../annotation-queues/019c0f63-7acb-7497-8f87-08873368fcd4
```
この例では、キュー ID は次のとおりです：
`019c0f63-7acb-7497-8f87-08873368fcd4`
次のコードを使用して、キュー内のトレース (Call) を反復処理できます。
```python lines theme={"system"}
import weave
from weave.trace_server.trace_server_interface import AnnotationQueueItemsQueryReq
# プロジェクトとキューの識別子をご自身の値に更新してください。
PROJECT = "your-team-name/your-project-name"
QUEUE_ID = "019c0f63-7acb-7497-8f87-08873368fcd4"
# Weave を初期化します。
client = weave.init(PROJECT)
# キュー内の Call から Call ID を取得します。
calls = client.server.annotation_queue_items_query(
AnnotationQueueItemsQueryReq(
project_id=PROJECT,
queue_id=QUEUE_ID,
)
)
# Call を反復処理し、フィードバックを取得します。
for i, item in enumerate(calls.items):
call = client.get_call(call_id=item.call_id, include_feedback=True)
feedback = call.feedback or {}
# Call のフィードバック項目の総数をカウントします。
total_feedback_items = len(feedback)
print(f"\nItem {i}, call_id: {item.call_id}, total feedback items: {total_feedback_items}")
if not feedback:
print("No feedback for item")
continue
# 最初の アノテーション 値を取得します。
# フィールド アノテーション は反復可能な順序で追加されないため、最初のフィールドは変わります。
field_name = next(iter(feedback))
field_value = feedback[0]
print(f" {field_name}: {field_value}")
```
以下のGoogle Colabノートブックは、アノテーションデータにプログラムでアクセスし、分析reportを収集する詳細な例を提供します：
## Related topics
- [サンプルコードとノートブック](/ja/products/wandb/examples.md)