Cohere - CoreWeave Docs

weave.init() を呼び出すと、Weave は Cohere Python ライブラリ経由の LLM Call を自動的にトラッキングしてログします。

トレース

LLM アプリケーションのトレースは、開発中も本番環境でも、一元管理されたデータベースに保存することが重要です。保存したトレースは、デバッグに使用できるほか、アプリケーションの改善に役立つデータセットとしても使用できます。 Weave は cohere-python のトレースを自動的に取得します。ライブラリは通常どおり使用できます。まず weave.init() を呼び出します。

import cohere
import os
import weave

# Cohere ライブラリは通常どおり使用します
co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

response = co.chat(
    message="How is the weather in Boston?",
    # 質問に回答する前に Web 検索を実行します。独自のカスタムコネクタを使用することもできます。
    connectors=[{"id": "web-search"}],
)
print(response.text)

weave.init() を呼び出す際に CoreWeave Forge のチームを指定しない場合、Weave はデフォルトの entity を使用します。デフォルトの entity を確認または変更するには、Weights & Biases Models ドキュメントの User Settings を参照してください。 Cohere モデルはコネクタをサポートしており、エンドポイント側で他の API にリクエストを送信できます。この場合、応答には生成されたテキストに加えて、コネクタから返されたドキュメントにリンクする引用要素が含まれます。

Weave は、Cohere の Client.chat()、AsyncClient.chat()、Client.chat_stream()、AsyncClient.chat_stream() メソッドにパッチを適用して、LLM Call をトラッキングします。

独自の op でラップする

Weave Op は、実験中にコードを自動的にバージョン管理して結果を再現可能にするとともに、入力と出力を取得します。Cohere のチャットメソッドを呼び出す関数を作成して @weave.op() でデコレートすると、Weave が入力と出力を自動的にトラッキングします。以下に例を示します。

import cohere
import os
import weave

co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])

weave.init("cohere_project")

@weave.op()
def weather(location: str, model: str) -> str:
    response = co.chat(
        model=model,
        message=f"How is the weather in {location}?",
        # 質問に回答する前に Web 検索を実行します。独自のカスタムコネクタを使用することもできます。
        connectors=[{"id": "web-search"}],
    )
    return response.text

print(weather("Boston", "command"))

実験を容易にするために `Model` を作成する

構成要素が多いと、実験の整理は難しくなります。Model クラスを使用すると、システムプロンプトや使用しているモデルなど、アプリの実験に関する詳細を取得して整理できます。これにより、アプリのさまざまな反復処理を整理して比較しやすくなります。 Model は、コードのバージョン管理や入力/出力の取得に加えて、アプリケーションの動作を制御する構造化されたパラメーターも取得します。そのため、どのパラメーターが最も効果的だったかを見つけやすくなります。また、Weave モデルは serve や Evaluation と組み合わせて使用することもできます。次の例では、model と temperature を変えて実験できます。これらのいずれかを変更するたびに、WeatherModel の新しいバージョンが作成されます。

import weave
import cohere
import os

weave.init('weather-cohere')

class WeatherModel(weave.Model):
    model: str
    temperature: float
  
    @weave.op()
    def predict(self, location: str) -> str:
        co = cohere.Client(api_key=os.environ["COHERE_API_KEY"])
        response = co.chat(
            message=f"How is the weather in {location}?",
            model=self.model,
            temperature=self.temperature,
            connectors=[{"id": "web-search"}]
        )
        return response.text

weather_model = WeatherModel(
    model="command",
    temperature=0.7
)
result = weather_model.predict("Boston")
print(result)

​トレース

​独自の op でラップする

​実験を容易にするために Model を作成する

トレース

独自の op でラップする

実験を容易にするために `Model` を作成する