クイックスタート: 関数をインストルメントしてトレースする

コードにトレースを追加して、Weave で LLM Call をトラッキングする方法を学びましょう。このクイックスタートでは、OpenAI へのリクエストをトレースし、その結果を Weights & Biases の UI で確認する手順を説明します。Weave を初めて使用する開発者で、デバッグやモニタリングのために LLM アプリケーションをインストルメントしたい方を対象としています。

学習内容

このガイドでは、次の方法を説明します。

コードに Weave をインポートして設定する方法
weave.op デコレーターを使用してコードをトラッキングする方法
Weights & Biases UI でトレースを表示する方法

前提条件

CoreWeave Forge アカウント
Python 3.10 以降または Node.js 18 以降
必須パッケージがインストールされていること:
- Python: pip install weave openai
- TypeScript: npm install weave openai
OpenAI APIキーが環境変数として設定されていること。

新しい project にトレースをログする

このセクションでは、小さなアプリケーションをインストルメントして、Weave がその入力、出力、コードを記録できるようにします。コードのトラッキングを開始し、Weave にトレースをログするには、次の手順を実行します。

コードに weave ライブラリをインポートします。
コード内で weave.init('your_wb_team/project_name') を呼び出し、W&B のチームと project にトラッキング情報を送信します。チームを指定しない場合、Weave はトレースをデフォルトチームに送信します。指定した project がチーム内に存在しない場合は、Weave によって作成されます。
トラッキングしたい関数に @weave.op() デコレーターを追加します。サポートされる LLM への Call は Weave が自動的にトラッキングしますが、このデコレーターを使用すると、特定の関数の入力、出力、コードをトラッキングできます。TypeScript では、weave.op(your_function) という構文でデコレーターを使用します。

次のサンプルコードは OpenAI にリクエストを送信し (OpenAI APIキーが必要です) 、そのリクエストのトレース情報を Weave が記録します。このリクエストでは、OpenAI のモデルに入力から恐竜の名前を抽出させ、それぞれの恐竜の食性 (草食または肉食) を特定させます。次のサンプルコードでは、Weave で最初の project をトラッキングします。

Python
TypeScript

# Weave ライブラリをインポートします
import weave
from openai import OpenAI

client = OpenAI()

# Weave はこの関数の入力、出力、コードを自動的にトラッキングします
@weave.op()
def extract_dinos(sentence: str) -> dict:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": """In JSON format extract a list of `dinosaurs`, with their `name`,
their `common_name`, and whether its `diet` is a herbivore or carnivore"""
            },
            {
                "role": "user",
                "content": sentence
            }
            ],
            response_format={ "type": "json_object" }
        )
    return response.choices[0].message.content

# Weave を初期化し、データのログ先となるチームと project を設定します
weave.init('your-team/traces-quickstart')

sentence = """I watched as a Tyrannosaurus rex (T. rex) chased after a Triceratops (Trike), \
both carnivore and herbivore locked in an ancient dance. Meanwhile, a gentle giant \
Brachiosaurus (Brachi) calmly munched on treetops, blissfully unaware of the chaos below."""

result = extract_dinos(sentence)
print(result)

// Weave ライブラリをインポートします
import * as weave from 'weave';
import OpenAI from 'openai';

const openai = new OpenAI();

// Weave はこの関数の入力、出力、コードを自動的にトラッキングします  
async function extractDinos(input: string) {
  const response = await openai.chat.completions.create({
    model: 'gpt-4o',
    messages: [
      {
        role: 'user',
        content: `In JSON format extract a list of 'dinosaurs', with their 'name', their 'common_name', and whether its 'diet' is a herbivore or carnivore: ${input}`,
      },
    ],
  });
  return response.choices[0].message.content;
}
const extractDinosOp = weave.op(extractDinos);

async function main() {

  // Weave を初期化し、データのログ先となるチームと project を設定します
  await weave.init('your-team/traces-quickstart');

  const result = await extractDinosOp(
    'I watched as a Tyrannosaurus rex (T. rex) chased after a Triceratops (Trike), both carnivore and herbivore locked in an ancient dance. Meanwhile, a gentle giant Brachiosaurus (Brachi) calmly munched on treetops, blissfully unaware of the chaos below.'
  );
  console.log(result);
}

main();

extract_dinos 関数を呼び出すと、Weave はトレースを確認するためのリンクをターミナルに出力します。出力は次のようになります。

weave:  $ pip install weave --upgrade
weave: Logged in as Weights & Biases user: example-username.
weave: View Weave data at https://wandb.ai/your-team/traces-quickstart/weave
weave: 🍩 https://wandb.ai/your-team/traces-quickstart/r/call/019ae171-7f32-7c96-8b42-931a32f900b7
{
  "dinosaurs": [
    {
      "name": "Tyrannosaurus rex",
      "common_name": "T. rex",
      "diet": "carnivore"
    },
    {
      "name": "Triceratops",
      "common_name": "Trike",
      "diet": "herbivore"
    },
    {
      "name": "Brachiosaurus",
      "common_name": "Brachi",
      "diet": "herbivore"
    }
  ]
}

project でアプリケーションのトレースを確認する

コードでトレースが生成されたので、Weights & Biases UI で確認してみましょう。ターミナルに表示されたリンクをクリックするか、リンクをブラウザーに貼り付けて Weights & Biases UI を開きます。Weights & Biases UI の Traces パネルでトレースをクリックすると、入力、出力、レイテンシー、トークン使用量などのデータを確認できます。

Forge での extract_dinos 関数のトレース。コストとレイテンシーを含む Call ツリーと、Call の入力および出力が表示されています。

これで、初めての Weave トレースをログして確認できました。

トレースの詳細

関数をデコレートして Call の情報を取得する方法を確認してください。
プレイグラウンドを使って、ログしたトレースでさまざまなモデルを試してみてください。
インテグレーションを確認してください。Weave は、OpenAI や Anthropic をはじめとする多くの LLM ライブラリへの Call を自動的にトラッキングします。使用している LLM ライブラリが Weave のインテグレーションに含まれていない場合でも、@weave.op() でラップすれば、他の LLM ライブラリやフレームワークへの Call をトラッキングできます。

次のステップ

まずはアプリケーションの評価を始め、次に RAG アプリケーションを評価する方法を確認してください。

​学習内容

​前提条件

​新しい project にトレースをログする

​project でアプリケーションのトレースを確認する

​トレースの詳細

​次のステップ