Neon AI Gateway - CoreWeave Docs

이 가이드에서는 Weave를 사용하여 Neon AI Gateway에서 서빙되는 모델로의 Call을 자동으로 트레이스하는 방법을 보여줍니다. 이를 통해 단일 대시보드에서 모델 사용을 모니터링, 디버그, 평가할 수 있습니다. Neon AI Gateway는 Neon에서 제공하는 OpenAI-compatible inference endpoint입니다. 단일 Neon 자격 증명으로 OpenAI, Google, Meta, Databricks, Alibaba의 모델에 접근할 수 있으며, 별도의 공급자 API 키가 필요 없습니다. Weave는 OpenAI SDK를 감지하므로, API 키와 base URL을 변경한 후 기존 OpenAI 코드를 사용할 수 있습니다.

Neon AI Gateway는 베타 버전입니다. 선불 크레딧이 있는 유료 Neon 플랜과 지원되는 AWS 리전에 있는 프로젝트가 필요합니다. 자세한 요구 사항은 Neon AI Gateway를 참조하세요.

사전 요구 사항

대부분의 공급자와 달리 Neon은 공유 호스트 이름을 하나만 사용하지 않습니다. 각 데이터베이스 브랜치마다 자체 게이트웨이 호스트가 할당되므로 다음 두 값이 필요합니다:

ai_gateway:invoke 범위가 있는 자격 증명. Neon Console의 Credentials에서 생성하거나 Neon API를 통해 생성하세요. AI Gateway authentication를 참조하세요.
Neon Console에 NEON_AI_GATEWAY_BASE_URL로 표시되는 브랜치 호스트. 이는 https://<your-neon-branch-host> 형식의 브랜치별 URL입니다.

neon env pull --file .env를 실행하면 두 값이 각각 NEON_AI_GATEWAY_TOKEN과 NEON_AI_GATEWAY_BASE_URL로 기록됩니다.

Neon AI Gateway call 트레이스하기

api_key를 Neon 자격 증명으로 설정하고, base_url을 브랜치 호스트에 /v1을 붙인 값으로 설정한 다음, gpt-5-mini와 같은 짧은 Neon 모델 ID를 사용하세요. weave.init()은 트레이스를 위한 프로젝트 이름이 필요합니다. 선택적으로 W&B entity를 <entity>/<project> 형식으로 접두사로 붙일 수 있습니다. entity를 생략하면 Weave는 기본 entity를 사용합니다. 기본 entity를 찾거나 업데이트하려면 기본 팀을 참고하세요.

import os
import openai
import weave

weave.init('neon-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("NEON_AI_GATEWAY_TOKEN"),
    base_url=f"{os.environ.get('NEON_AI_GATEWAY_BASE_URL')}/v1",
)
chat_completion = client.chat.completions.create(
    model="gpt-5-mini",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Model response:\n", response)

Weave는 call을 프로젝트의 트레이스로 캡처하며, 모델 ID, 메시지 및 Neon이 반환하는 토큰 수를 포함합니다.

브랜치 간 트레이스

Neon 자격 증명은 생성된 브랜치와 그로부터 파생된 모든 브랜치에서 유효하므로, main에서 생성된 자격 증명은 그로부터 포크된 미리 보기 및 CI 브랜치에서도 작동합니다. 환경 간에 변경되는 것은 NEON_AI_GATEWAY_BASE_URL뿐입니다. 브랜치 호스트는 요청이 아닌 클라이언트 설정에 있으므로, Weave에서 다른 브랜치의 트레이스가 동일하게 보입니다. 이를 구분하려면 weave.init()에 별도의 프로젝트 이름을 전달하거나, 브랜치를 속성으로 추가하세요:

with weave.attributes({"neon_branch": "preview/feature-x"}):
    chat_completion = client.chat.completions.create(
        model="gpt-5-mini",
        messages=[{"role": "user", "content": user_content}],
    )

모델 선택

Neon은 gpt-5-mini, gemini-3-flash, llama-4-maverick, qwen3-next-80b-a3b-instruct와 같은 짧은 모델 ID를 사용합니다. 브랜치가 서빙할 수 있는 항목 목록:

curl "${NEON_AI_GATEWAY_BASE_URL}/v1/models" \
  -H "Authorization: Bearer $NEON_AI_GATEWAY_TOKEN"

컨텍스트 윈도우와 가격은 Neon 모델 카탈로그에 있으며, Models.dev의 neon 공급자로도 게시됩니다. 모델 선택에 영향을 미치는 두 가지 제약이 있습니다:

일부 모델은 Neon의 Responses API 경로인 {NEON_AI_GATEWAY_BASE_URL}/openai/v1에서만 서빙되며, Chat Completion에서 400을 반환합니다. Neon의 모델 카탈로그에 있는 Endpoints 열에서 해당 모델을 확인할 수 있으며, 이 목록은 변경됩니다. 작성 시점에는 gpt-5-3-codex와 gpt-5-5-pro입니다. 해당 열에 chat/completions로 나열된 모든 모델은 Chat Completion 경로에서 작동합니다.

Neon은 비용 필드를 반환하지 않으며 GET /v1/models에서 pricing을 null로 보고하므로, 트레이스에는 비용 없이 토큰 수만 표시됩니다. AI Gateway 사용량은 선불 크레딧 잔액에서 차감됩니다. 자세한 내용은 AI Gateway 가격을 참조하세요. 더 복잡한 사용 사례를 위해 Weave를 자체 함수와 통합하는 방법에 대한 자세한 내용은 OpenAI 인테그레이션 가이드를 참조하세요.

​사전 요구 사항

​Neon AI Gateway call 트레이스하기

​브랜치 간 트레이스

​모델 선택

사전 요구 사항

Neon AI Gateway call 트레이스하기

브랜치 간 트레이스

모델 선택