애플리케이션 연결하기

이 가이드에 따라 Model Distillation 프록시를 통해 요청을 보내고, 프록시가 해당 요청을 기록하는지 확인하세요. 대부분의 Chat Completion 애플리케이션은 base URL, API 키, 프로젝트를 새로 지정하고 model 값을 router로 설정하기만 하면 됩니다. 나머지 요청 및 응답 처리 방식은 그대로 유지됩니다.

시작하기 전에

Forge API 키, 라우팅이 적용된 프로젝트, 해당 프로젝트의 OpenAI-Project 값이 필요합니다. 이 값은 [ENTITY]/[PROJECT] 형식이며, 여기서 [PROJECT]는 프로젝트 별칭이 아니라 해당 프로젝트의 Weights & Biases 프로젝트 이름입니다. 이 값은 Studio의 프로젝트 헤더와 프로젝트 설정 페이지에서 바로 복사할 수 있습니다. 예시에서는 your-team/ticket-classifier를 사용합니다. 이를 사용자 프로젝트의 OpenAI-Project 값으로 바꾸세요.

Python
JavaScript
cURL

import os

from openai import OpenAI

client = OpenAI(
    base_url="https://proxy.training.coreweave.com/v1",
    api_key=os.environ["WANDB_API_KEY"],
    project="your-team/ticket-classifier",  # OpenAI-Project로 전송됨
)

response = client.chat.completions.create(
    model="router",
    messages=[
        {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    metadata={"gen_ai.conversation.id": "customer-4827"},
)

print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://proxy.training.coreweave.com/v1",
  apiKey: process.env.WANDB_API_KEY,
  project: "your-team/ticket-classifier", // OpenAI-Project로 전송됨
});

const response = await client.chat.completions.create({
  model: "router",
  messages: [
    { role: "user", content: "My package arrived damaged. What should I do?" },
  ],
  metadata: { "gen_ai.conversation.id": "customer-4827" },
});

console.log(response.choices[0].message.content);

curl https://proxy.training.coreweave.com/v1/chat/completions \
  -H "Authorization: Bearer $WANDB_API_KEY" \
  -H "Content-Type: application/json" \
  -H "OpenAI-Project: your-team/ticket-classifier" \
  -d '{
    "model": "router",
    "messages": [
      {"role": "user", "content": "My package arrived damaged. What should I do?"}
    ],
    "metadata": {
      "gen_ai.conversation.id": "customer-4827"
    }
  }'

OpenAI SDK는 project 옵션을 OpenAI-Project 헤더로 전송하며, OPENAI_PROJECT_ID 환경 변수에서도 이 값을 읽습니다. 이 헤더를 지정하면 model: "router"는 프로젝트 버전 1의 가중치 기반 라우팅을 사용합니다. 다른 버전을 사용하려면 metadata에 "forge.project_version": "2"를 추가하세요. 예시와 같이 metadata를 create()에 직접 전달하세요. openai Python 패키지의 이전 릴리스에는 metadata 매개변수가 없습니다. 패키지를 업그레이드하거나 같은 객체를 extra_body={"metadata": {...}} 형태로 전달하세요.

인테그레이션 확인

요청을 보낸 후 프로젝트 개요로 돌아가 다음 사항을 확인하세요.

요청 수가 증가했는지
의도한 모델이 요청을 서빙했는지
저장된 입력과 응답이 올바른지

프록시가 No routing configuration for project 메시지와 함께 404를 반환하면 OpenAI-Project 값을 확인하세요. 이 값에는 프로젝트 별칭이 아닌 Weights & Biases 프로젝트 이름을 사용해야 합니다. 라우팅이 적용되었는지도 함께 확인하세요. 그 밖의 오류는 프록시 오류를 참조하세요.

대화 ID 유지

gen_ai.conversation.id를 한 대화의 모든 요청에 동일하게 사용하세요. 이렇게 하면 점진적 롤아웃 중에 대화를 동일한 모델에 유지하고, 데이터 준비 시 관련 예시를 함께 유지합니다.

Chat Completion 세부 정보

스트리밍, 도구, 구조화된 출력, 공급자 매개변수 및 요청 우선순위에 대해 알아보세요.

​시작하기 전에

​인테그레이션 확인

​대화 ID 유지

Chat Completion 세부 정보

시작하기 전에

인테그레이션 확인

대화 ID 유지