모델 라우팅

OpenAI-Project 헤더로 프로젝트를 선택합니다. 이어서 model 필드로 프로젝트의 가중치 라우팅을 사용할지 모델을 재정의할지 선택하고, metadata["forge.project_version"]으로 프로젝트 버전을 선택합니다.

프로젝트 선택

값은 [ENTITY]/[PROJECT] 형식입니다. [PROJECT]는 프로젝트 별칭이 아니라 해당 프로젝트의 Weights & Biases 프로젝트 이름(project 필드)입니다. 프로젝트를 생성할 때 다른 프로젝트 이름을 지정하지 않았다면 두 값은 같습니다. Studio의 프로젝트 헤더와 프로젝트 설정 페이지에 이 값이 표시되며, 바로 복사할 수 있습니다.

OpenAI-Project: your-team/ticket-classifier

OpenAI SDK는 Python의 OpenAI(project=...)나 JavaScript의 new OpenAI({ project })처럼 project 옵션에 지정한 값 또는 OPENAI_PROJECT_ID 환경 변수의 값을 헤더로 전송합니다.

가중치 라우팅

model이 router이거나, 비어 있거나, 생략된 경우 선택한 버전의 가중치 라우팅이 사용됩니다. 프록시는 가중치가 양수인 대상 중 하나를 선택해 model을 대체하고, 해당 대상의 매개변수를 적용한 뒤 대상의 공급자를 호출합니다.

{"model": "router"}

OpenAI-Project 헤더를 사용할 때 model에 프로젝트 별칭이나 alias@vN을 지정하면 400이 반환됩니다. 대신 forge.project_version으로 버전을 선택하세요.

버전 고정

{
  "model": "router",
  "metadata": {
    "forge.project_version": "3"
  }
}

이 버전 고정은 버전 3을 선택합니다. 버전은 "3"과 같은 string으로 보내세요. 프록시는 정수도 허용합니다. forge.project_version을 생략하면 버전 1이 선택됩니다. 버전 1은 고정 기본값이며 최신 버전으로 바뀌지 않습니다. 새 버전을 게시해도 버전 1은 변경되지 않으므로, 애플리케이션에 롤아웃하기 전에 새 버전을 안전하게 테스트할 수 있습니다. 존재하지 않는 버전을 지정하면 Project 'your-team/ticket-classifier' has no version 3 메시지와 함께 404가 반환됩니다. forge.project_version을 사용하려면 OpenAI-Project 헤더가 필요합니다. 이 헤더가 없으면 요청 시 400이 반환됩니다.

모델 재정의

OpenAI-Project 헤더를 사용하면 provider/model-id 값으로 단일 요청의 모델을 재정의할 수 있습니다. 첫 번째 슬래시 앞의 접두사는 프로젝트의 entity에 등록된 공급자를 지정하며, 여기에는 wandb-inference와 같은 기본 제공 공급자도 포함됩니다. 나머지 부분은 해당 공급자에 설정된 모델 ID입니다. 슬래시는 여러 개 사용할 수 있습니다.

{"model": "openai/gpt-5.6-sol?reasoning_effort=medium"}

재정의는 프로젝트 트래픽입니다. 프록시는 라우팅된 트래픽과 마찬가지로 선택된 버전에서 재정의를 트레이스하고, 샘플링하고, 캐시합니다. 재정의에는 미세 조정된 모델의 추론 설정(예: 기본 temperature)이나 대상의 params_override 값이 아니라, 호출자의 요청 매개변수와 공급자의 추론 기본값이 적용됩니다. 재정의는 임시 테스트를 하거나, 트레이닝된 모델이 라우팅 대상이 되기 전에 해당 모델을 호출하거나, 새로 등록한 공급자로 트래픽을 라우팅하기 전에 해당 공급자를 검증할 때 유용합니다. 트레이스는 라우팅 모드를 routing_mode에 기록합니다. 모델 재정의는 override로, 라우팅된 트래픽은 weighted로 기록됩니다. 재정의는 프로젝트 트래픽이므로 데이터셋에 포함될 수 있으며, 재정의가 교사 모델을 사용하는 경우에는 Studio에서 Automation이 빌드하는 교사 데이터셋에도 포함될 수 있습니다. 데이터셋에서 재정의를 제외하려면 metadata: {"routing_mode": "weighted"}로 필터링하세요. 이 필터를 사용하면 routing_mode가 도입되기 전에 기록된 트레이스도 함께 제외됩니다. 자세한 내용은 메타데이터 및 트레이스를 참조하세요.

entity 확인

OpenAI-Project에 지정한 entity는 호출자의 개인 entity이거나 호출자가 속한 Weights & Biases 팀 중 하나여야 합니다. 프록시는 프로젝트를 조회하기 전에 먼저 액세스 권한을 확인합니다. 따라서 해당 entity에 액세스할 수 없는 키는 프로젝트가 존재하는지와 관계없이 403을 받습니다. 헤더에 entity가 지정되어 있으므로 개인 키를 사용하더라도 프록시는 팀 프로젝트를 해당 팀에서 조회합니다.

고정 가중치 선택

라우팅 리비전 내에서 하나의 대화에 속한 모든 Call이 동일한 대상으로 전달되도록 하려면 다음과 같이 대화 ID를 제공하세요.

{
  "metadata": {
    "gen_ai.conversation.id": "conversation-4827"
  }
}

라우팅 리비전을 변경하면 해당 키를 의도적으로 다른 대상으로 옮길 수 있습니다.

API: 고정된 프로젝트 버전 호출 (POST /chat/completions)

OpenAI-Project 헤더를 전송하고, model에 router를 지정한 다음, forge.project_version을 설정하세요. 모델을 재정의하려면 model에 provider/model-id를 대신 지정합니다.

curl --request POST \
  --url "https://proxy.training.coreweave.com/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --header "OpenAI-Project: your-team/ticket-classifier" \
  --data '{
    "model": "router",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {
      "forge.project_version": "2",
      "gen_ai.conversation.id": "conversation-4827"
    }
  }'

전체 스키마는 라우팅된 Chat Completion 생성을 참조하세요.

Model Distillation

Serverless Training

프로젝트 선택

가중치 라우팅

버전 고정

모델 재정의

entity 확인

고정 가중치 선택

​프로젝트 선택

​가중치 라우팅

​버전 고정

​모델 재정의

​entity 확인

​고정 가중치 선택

프로젝트 선택

가중치 라우팅

버전 고정

모델 재정의

entity 확인

고정 가중치 선택