Inference 프록시 개요

inference 프록시는 애플리케이션의 온라인 경로에서 유일한 컴포넌트입니다. 다음을 노출합니다:

POST https://proxy.training.coreweave.com/v1/chat/completions
Authorization: Bearer <wandb-api-key>
OpenAI-Project: [ENTITY]/[PROJECT]

Bearer 토큰은 Forge API 키입니다. OpenAI-Project는 entity와 Weights & Biases 프로젝트 이름으로 Model Distillation 프로젝트를 지정합니다. 기존 OpenAI 클라이언트는 계속 작동합니다. OpenAI SDK는 project 옵션 또는 OPENAI_PROJECT_ID 환경 변수의 값으로 이 헤더를 전송합니다. model 값은 요청이 프로젝트의 가중치 기반 라우팅을 사용할지, 아니면 모델을 재정의할지를 결정합니다.

What the 프록시 adds

프로젝트 라우팅

프로젝트 버전을 확인하고, 가중치가 적용된 대상을 선택하며, 해당 매개변수를 적용하고, 대화를 유지합니다.

자격 증명 isolation

API 키를 선택한 공급자 자격 증명으로 교체하며 클라이언트 헤더를 전달하지 않습니다.

Training-grade 트레이스

프로젝트 및 공급자 ID와 함께 디스패치된 전체 요청과 응답을 기록합니다.

OpenAI-compatible transport

스트리밍되지 않는 및 스트리밍 Chat Completion 응답 동작을 유지합니다.

지원되는 라우트

OpenAI-Project 헤더를 사용하는 경우 model에는 다음 값 중 하나를 지정합니다.

`model` 값	결과
`router`, 빈 값 또는 생략	선택한 프로젝트 버전에 대한 가중치 기반 라우팅
`provider/model-id`	프로젝트 내에서 등록된 공급자를 통한 모델 재정의

metadata["forge.project_version"]은 "2"와 같이 프로젝트 버전을 선택합니다. 생략하면 버전 1이 선택됩니다. 라우팅된 요청과 모델 재정의는 모두 프로젝트 트래픽에 해당합니다. 프록시는 이러한 요청을 선택한 버전에서 트레이스, 샘플링 및 캐시합니다. 스트리밍되지 않는 프로젝트 요청은 Forge-Cache-Mode 헤더를 사용하여 exact-response caching에 옵트인할 수도 있으며, 이는 공급자를 호출하는 대신 이전과 동일한 응답을 재생합니다.

API: 프로젝트 라우팅 요청 보내기 (POST /chat/completions)

curl --request POST \
  --url "https://proxy.training.coreweave.com/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --header "OpenAI-Project: your-team/ticket-classifier" \
  --data '{
    "model": "router",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"gen_ai.conversation.id": "conversation-4827"}
  }'

전체 요청 및 응답 스키마는 라우팅된 Chat Completion 생성을 참조하세요.

Fail closed 동작

프록시는 알 수 없는 API 키, entities, 프로젝트, 버전 및 공급자를 임의의 엔드포인트를 호출하기 전에 거부합니다. 공급자 URL과 자격 증명은 서버에서 관리하는 materialization에서만 제공되며, 호출자는 요청 헤더나 토큰에 이를 제공할 수 없습니다.

​What the 프록시 adds