Together AI は、生成 AI モデルの構築とファインチューニングを行うためのプラットフォームです。オープンソース LLM に重点を置いており、お客様は独自のモデルをファインチューニングしてホストできます。このガイドでは、Together の OpenAI SDK との互換性を利用して、Together AI のモデルの Call を Weave でトレースおよび評価する方法を説明します。オープンソース LLM の入力、出力、パフォーマンスを、Weave で追跡している他の作業とあわせて監視できます。
together Python パッケージに対する Weave の完全なサポートは現在開発中です。
それまでの間は、Together が OpenAI SDK との互換性をサポートしており、Weave はこれを自動的に検出して連携します。標準の OpenAI クライアントで Together AI のモデルを呼び出すだけで、追加の設定なしに Weave のトレースが自動的に行われます。Together API に切り替えるには、api_key に Together API キーを、base_url に https://api.together.xyz/v1 を、model にチャットモデルのいずれかを設定します。次の例では、Weave を初期化したうえで、Together でホストされているモデルに対してチャット補完の Call を実行します。実行すると、その Call がトレースとして Weave プロジェクトに表示されます。
import osimport openaiimport weaveweave.init('together-weave')system_content = "You are a travel agent. Be descriptive and helpful."user_content = "Tell me about San Francisco"client = openai.OpenAI( api_key=os.environ.get("TOGETHER_API_KEY"), base_url="https://api.together.xyz/v1",)chat_completion = client.chat.completions.create( model="mistralai/Mixtral-8x7B-Instruct-v0.1", messages=[ {"role": "system", "content": system_content}, {"role": "user", "content": user_content}, ], temperature=0.7, max_tokens=1024,)response = chat_completion.choices[0].message.contentprint("Together response:\n", response)
