MistralAI - CoreWeave Docs

Weave は、MistralAI Python library を通じて行われる LLM Call を自動的にトラッキングし、ログします。このガイドでは、MistralAI の Call のトレースを取得する方法、独自の op で Call をラップして再現性を確保する方法、Model クラスを使用して実験を整理する方法を説明します。

Weave は Mistral v1.0 SDK をサポートします。アップグレードの詳細については、移行ガイドを参照してください。

トレース

LLM アプリケーションのトレースを開発時と本番の両方で中央データベースに保存することは重要です。これらのトレースはデバッグに使用し、アプリケーションを改善するためのデータセットとしても役立ちます。 Weave は mistralai のトレースを自動的に取得します。ライブラリを通常どおり使用するには、まず weave.init() を呼び出します：

import weave
weave.init("cheese_recommender")

# その後、通常通り mistralai ライブラリを使用します
import os
from mistralai import Mistral

api_key = os.environ["MISTRAL_API_KEY"]
model = "mistral-large-latest"

client = Mistral(api_key=api_key)

messages = [
    {
        "role": "user",
        "content": "What is the best French cheese?",
    },
]

chat_response = client.chat.complete(
    model=model,
    messages=messages,
)

Weave は MistralAI ライブラリを通じて行われたすべての LLM Call をトラッキングしてログします。トレースは Weave の Web インターフェースで確認できます。

独自の Op で Call をラップする

基本的なトレースが動作するようになったら、MistralAI の Call を Weave Op でラップして、実験間で再現できるようにしましょう。Weave Op は、実験中にコードを自動的にバージョン管理することで結果を再現可能にし、入力と出力も取得します。mistralai.client.MistralClient.chat() を呼び出す関数を作成して @weave.op() でデコレートすると、Weave が入力と出力を自動的にトラッキングします。次の例は、チーズのレコメンダーでこれを行う方法を示しています。

@weave.op()
def cheese_recommender(region:str, model:str) -> str:
    "Recommend the best cheese in a given region"
    
    messages = [
        {
            "role": "user",
            "content": f"What is the best cheese in {region}?",
        },
    ]

    chat_response = client.chat.complete(
        model=model,
        messages=messages,
    )
    return chat_response.choices[0].message.content

cheese_recommender(region="France", model="mistral-large-latest")
cheese_recommender(region="Spain", model="mistral-large-latest")
cheese_recommender(region="Netherlands", model="mistral-large-latest")

`Model` を使用して実験を簡単に

実験の整理は、多くの可動部分があるため困難です。Model クラスを使用することで、システムプロンプトや使用するモデルなど、アプリの実験的な詳細を取得して整理できます。これにより、アプリのさまざまな反復処理を整理して比較しやすくなります。コードのバージョン管理や入出力の取得に加えて、Model はアプリケーションの動作を制御する構造化されたパラメーターを取得するため、最適なパラメーターを検索しやすくなります。また、Weave モデルを serve や Evaluation と一緒に使用することもできます。次の例では、model と country を使用して実験できます。これらのいずれかを変更するたびに、CheeseRecommender の新しい バージョン が作成されます。

import weave
from mistralai import Mistral

weave.init("mistralai_project")

class CheeseRecommender(weave.Model): # `weave.Model` に変更
    model: str
    temperature: float

    @weave.op()
    def predict(self, region:str) -> str: # `predict` に変更
        "Recommend the best cheese in a given region"
        
        client = Mistral(api_key=api_key)

        messages = [
            {
                "role": "user",
                "content": f"What is the best cheese in {region}?",
            },
        ]

        chat_response = client.chat.complete(
            model=model,
            messages=messages,
            temperature=self.temperature
        )
        return chat_response.choices[0].message.content

cheese_model = CheeseRecommender(
    model="mistral-medium-latest",
    temperature=0.0
    )
result = cheese_model.predict(region="France")
print(result)

​トレース

​独自の Op で Call をラップする

​Model を使用して実験を簡単に

トレース

独自の Op で Call をラップする

`Model` を使用して実験を簡単に