Neon AI Gateway - CoreWeave Docs

このガイドでは、Weave を使用して Neon AI Gateway が提供するモデルへの Call を自動的にトレースする方法を説明します。これにより、単一のダッシュボードからモデル使用状況を監視、デバッグ、評価できます。 Neon AI Gateway は Neon が提供する OpenAI 互換の推論エンドポイントです。1 つの Neon 認証情報で OpenAI、Google、Meta、Databricks、Alibaba のモデルにアクセスでき、プロバイダーごとの APIキーは不要です。Weave は OpenAI SDK を検出するため、APIキーとベース URL を変更するだけで既存の OpenAI コードが動作します。

Neon AI Gateway はベータ版です。有料の Neon プラン (プリペイドクレジット付き) と、サポートされる AWS リージョン内の project が必要です。詳細な要件については Neon AI Gateway を参照してください。

前提条件

プロバイダーのほとんどとは異なり、Neon には共有のホスト名が 1 つありません。各データベースブランチには独自のゲートウェイホストが割り当てられるため、2 つの値が必要です:

ai_gateway:invoke スコープを持つ認証情報。Neon Console の Credentials で作成するか、Neon API を使用して作成します。AI Gateway 認証を参照してください。
Neon Console に NEON_AI_GATEWAY_BASE_URL として表示されるブランチホスト。これは https://<your-neon-branch-host> 形式のブランチごとの URL です。

neon env pull --file .env を実行すると、両方が NEON_AI_GATEWAY_TOKEN と NEON_AI_GATEWAY_BASE_URL として書き込まれます。

Neon AI Gateway の Call をトレースする

api_key に Neon の認証情報を設定し、base_url にブランチホストに /v1 を加えた値を設定して、gpt-5-mini などの短い Neon モデル ID を使用します。weave.init() には、トレースを保存するプロジェクト名が必要です。必要に応じて、<entity>/<project> の形式で W&B の entity を接頭辞として付けることができます。entity を省略すると、Weave はデフォルトの entity を使用します。デフォルトの entity を検索または更新するには、Default team を参照してください。

import os
import openai
import weave

weave.init('neon-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("NEON_AI_GATEWAY_TOKEN"),
    base_url=f"{os.environ.get('NEON_AI_GATEWAY_BASE_URL')}/v1",
)
chat_completion = client.chat.completions.create(
    model="gpt-5-mini",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Model response:\n", response)

Weave は、モデル ID、メッセージ、Neon が返すトークン数を含む Call を、project 内のトレースとして取得します。

ブランチ間のトレース

Neon の認証情報は、作成されたブランチと、そのブランチから派生したすべてのブランチで有効です。そのため、main で作成された認証情報は、そこからフォークしたプレビューブランチや CI ブランチでも使用できます。環境間で変わるのは NEON_AI_GATEWAY_BASE_URL のみです。ブランチホストはリクエストではなくクライアントの設定に含まれるため、異なるブランチのトレースは Weave では同じように見えます。区別するには、weave.init() に異なるプロジェクト名を渡すか、ブランチを属性として付与してください。

with weave.attributes({"neon_branch": "preview/feature-x"}):
    chat_completion = client.chat.completions.create(
        model="gpt-5-mini",
        messages=[{"role": "user", "content": user_content}],
    )

モデルを選択する

Neon は、gpt-5-mini、gemini-3-flash、llama-4-maverick、qwen3-next-80b-a3b-instruct などの短いモデル ID を使用します。ブランチで提供できるモデルを一覧表示します。

curl "${NEON_AI_GATEWAY_BASE_URL}/v1/models" \
  -H "Authorization: Bearer $NEON_AI_GATEWAY_TOKEN"

コンテキストウィンドウと料金は Neon のモデルカタログに記載されており、Models.dev の neon プロバイダーとしても公開されています。モデルの選択には、次の 2 つの制約が影響します。

一部のモデルは Neon の Responses API パス {NEON_AI_GATEWAY_BASE_URL}/openai/v1 でのみ提供され、チャット補完では 400 を返します。該当するモデルは Neon のモデルカタログの Endpoints 列に示されており、その対象は変わります。執筆時点では gpt-5-3-codex と gpt-5-5-pro が該当します。この列に chat/completions と記載されているモデルはすべて、チャット補完のパスで動作します。

Neon はコストフィールドを返さず、GET /v1/models では pricing を null として返すため、トレースにはコストなしでトークン数が表示されます。AI Gateway の使用量に応じて、前払いのクレジット残高が差し引かれます。AI Gateway の料金を参照してください。より複雑なユースケースに向けて、独自の関数に Weave を組み込む方法の詳細については、OpenAI インテグレーションガイドを参照してください。

​前提条件

​Neon AI Gateway の Call をトレースする

​ブランチ間のトレース

​モデルを選択する

前提条件

Neon AI Gateway の Call をトレースする

ブランチ間のトレース

モデルを選択する