TypeScript で Weave を使用するクイックスタートガイド
W&B Weave を TypeScript で使用すると、次のことができます。- 言語モデルの入力、出力、トレースをログし、デバッグする
- 言語モデルのユースケースに対して、同一条件で比較できる厳密な評価を構築する
- 実験から評価、本番に至るまで、LLM ワークフロー全体で生成されるすべての情報を整理する
関数のトラッキング
Typescript コードで Weave を使用するには、新しい Weave プロジェクトを初期化し、トラッキングする関数にweave.op ラッパーを追加します。
weave.op を追加して関数を呼び出したら、W&B ダッシュボードにアクセスし、project 内で追跡されていることを確認します。
コードは自動的にトラッキングされます。UI の Code タブを確認してください!
OpenAI インテグレーション
Weave は、以下を含むすべての OpenAI Call を自動的にトラッキングします。- トークン使用量
- API コスト
- リクエスト/応答のペア
- モデルの設定
OpenAI に加えて、Weave は Anthropic や Mistral などの他の LLM プロバイダも自動的にログする機能をサポートしています。全一覧については、インテグレーションのドキュメントの LLM プロバイダを参照してください。
ネストされた関数のトラッキング
Weave では、追跡対象の複数の関数と LLM Call を組み合わせることで、 実行トレース全体を保持したまま複雑なワークフローをトラッキングできます。これには次のような利点があります。- アプリケーションのロジックフローを完全に可視化できる
- 複雑な操作のチェーンを簡単にデバッグできる
- パフォーマンスを最適化する機会が得られる
データセット管理
weave.Dataset クラスを使用して、Weave でデータセットを作成・管理できます。Weave Models と同様に、weave.Dataset は次のことに役立ちます。
- データのトラッキングとバージョン管理
- テストケースの整理
- チームメンバー間でのデータセットの共有
- 体系的な評価の実施
評価フレームワーク
Weave はEvaluation クラス を使用して評価駆動の開発をサポートします。評価により、GenAI アプリケーションを確実に反復開発できます。Evaluation クラスは次のことを行います。
ModelのパフォーマンスをDataset上で評価します- カスタムスコアリング関数を適用します
- 詳細なパフォーマンス report を生成します
- モデルバージョンの比較を可能にします
main 関数はすべてのデモを実行します: