Inference proxy 개요 - CoreWeave Docs

inference proxy는 애플리케이션의 온라인 경로에서 유일한 컴포넌트입니다. 다음을 노출합니다:

POST https://proxy.training.wandb.ai/v1/chat/completions
Authorization: Bearer <wandb-api-key>

기존 OpenAI 클라이언트는 계속 작동합니다. model 값은 요청이 프로젝트 라우팅을 사용할지, 아니면 등록된 공급자를 직접 호출할지를 결정합니다.

What the proxy adds

프로젝트 라우팅

프로젝트 버전을 확인하고, 가중치가 적용된 대상을 선택하며, 해당 매개변수를 적용하고, 대화를 유지합니다.

자격 증명 isolation

W&B bearer 키를 선택한 공급자 자격 증명으로 교체하며 클라이언트 헤더를 전달하지 않습니다.

Training-grade 트레이스

프로젝트 및 공급자 ID와 함께 디스패치된 전체 요청과 응답을 기록합니다.

OpenAI-compatible transport

스트리밍되지 않는 및 streaming Chat Completion 응답 동작을 유지합니다.

지원되는 라우트

`model` 값	결과
`proxy-model-name`	프로젝트 버전 1에 대한 가중 라우팅
`proxy-model-name@v2`	버전 2에 고정된 가중 라우팅
`provider/model-id`	등록된 공급자를 통한 직접 Call

프로젝트 요청은 자동으로 트레이스됩니다. 직접 공급자 Call은 metadata["wandb.project"]가 대상을 선택하지 않는 한 트레이스되지 않습니다. 스트리밍되지 않는 프로젝트 요청은 wandb-cache-mode 헤더를 사용하여 exact-response caching에 옵트인할 수도 있으며, 이는 공급자를 호출하는 대신 이전과 동일한 응답을 재생합니다.

API: 프로젝트 라우팅 요청 보내기 (POST /chat/completions)

curl --request POST \
  --url "https://proxy.training.wandb.ai/v1/chat/completions" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "ticket-classifier",
    "messages": [{"role": "user", "content": "Classify this request"}],
    "metadata": {"wandb.entity": "your-team"}
  }'

전체 요청 및 응답 스키마는 라우팅된 Chat Completion 생성을 참조하세요.

Fail closed 동작

proxy는 알 수 없는 W&B 키, entities, 프로젝트, 버전 및 공급자를 임의의 엔드포인트를 호출하기 전에 거부합니다. 공급자 URL과 자격 증명은 서버에서 관리하는 materialization에서만 제공되며, 호출자는 요청 헤더나 토큰에 이를 제공할 수 없습니다.

​What the proxy adds