はじめに
トレースと評価の基本を扱うハンズオン形式のサンプルで、Weave を使い始めましょう。
評価とデータセット
評価の作成、データセットの操作、モデルを比較するための Leaderboard の構築方法を学びます。
モデルとプロンプト
実践的なサンプルを通じて、モデル管理、プロンプトエンジニアリング、最適化の手法を学びます。
高度なトピック
マルチエージェントシステム、コード生成、特定用途向けパイプラインなど、複雑なユースケースを紹介します。
本番環境とモニタリング
モニタリング、フィードバック収集、安全性のためのガードレールなど、本番環境に対応したパターンを実装します。
API とインテグレーション
サービス API を使用して Weave を統合し、外部システムと連携する方法を学びます。
注目のクックブック
以下のセクションでは、注目のクックブックをトピック別に紹介します。入門から本番運用、API インテグレーションまで幅広く取り上げています。はじめに
- Hello Trace - Weave のトレースを使ってみましょう。
- Hello Eval - 評価の基本的な概念を学びましょう。
評価とデータセット
- Leaderboard クイックスタート - モデルを比較するための Leaderboard を構築します。
- Hugging Face Datasets - Hugging Face のデータセットを使ってモデルを評価します。
- CSV からインポートする - CSV データを読み込んで活用します。
モデルとプロンプト
- Models and Weave Integration - モデルを Weave で統合します。
- Chain of Density - 高度なプロンプト手法を適用します。
- DSPy Prompt Optimization - プロンプトをプログラムで最適化します。
- NotDiamond Custom Routing - インテリジェントなモデルルーティングを実装します。
高度なトピック
- マルチエージェントによる構造化出力 - 複雑なマルチエージェントシステムを構築します。
- コード生成 - コード生成パイプラインを構築します。
- OCR パイプライン - OCR を使用してドキュメントを処理します。
- オーディオ処理 - Weave でオーディオデータを扱います。
本番環境とモニタリング
- オンラインモニタリング - システムをリアルタイムで監視します。
- 本番環境でのフィードバック - ユーザーフィードバックを収集・分析します。
- Scorer をガードレールとして使用する - 安全対策を実装します。
- カスタムモデルのコスト - コストをトラッキングして最適化します。
- PII 保護 - センシティブデータを安全に取り扱います。
API とインテグレーション
- サービス API の使用方法 - サービス API と直接統合する方法を紹介します。