> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Inference proxy 개요

> 프로젝트 라우팅, 공급자 자격 증명, 트레이스 캡처를 위한 하나의 OpenAI-compatible 엔드포인트를 사용하세요.

inference proxy는 애플리케이션의 온라인 경로에서 유일한 컴포넌트입니다. 다음을 노출합니다:

```text theme={"system"}
POST https://proxy.training.wandb.ai/v1/chat/completions
Authorization: Bearer <wandb-api-key>
```

기존 OpenAI 클라이언트는 계속 작동합니다. `model` 값은 요청이 프로젝트 라우팅을 사용할지, 아니면 등록된 공급자를 직접 호출할지를 결정합니다.

<h2 id="what-the-proxy-adds">
  What the proxy adds
</h2>

<CardGroup cols={2}>
  <Card title="프로젝트 라우팅" icon="shuffle">
    프로젝트 버전을 확인하고, 가중치가 적용된 대상을 선택하며, 해당 매개변수를 적용하고, 대화를 유지합니다.
  </Card>

  <Card title="자격 증명 isolation" icon="key">
    W\&B bearer 키를 선택한 공급자 자격 증명으로 교체하며 클라이언트 헤더를 전달하지 않습니다.
  </Card>

  <Card title="Training-grade 트레이스" icon="wave-square">
    프로젝트 및 공급자 ID와 함께 디스패치된 전체 요청과 응답을 기록합니다.
  </Card>

  <Card title="OpenAI-compatible transport" icon="code">
    스트리밍되지 않는 및 streaming Chat Completion 응답 동작을 유지합니다.
  </Card>
</CardGroup>

<h2 id="supported-routes">
  지원되는 라우트
</h2>

| `model` 값 | 결과 |
| - | - |
| `proxy-model-name` | 프로젝트 버전 1에 대한 가중 라우팅 |
| `proxy-model-name@v2` | 버전 2에 고정된 가중 라우팅 |
| `provider/model-id` | 등록된 공급자를 통한 직접 Call |

프로젝트 요청은 자동으로 트레이스됩니다. 직접 공급자 Call은 `metadata["wandb.project"]`가 대상을 선택하지 않는 한 트레이스되지 않습니다.

스트리밍되지 않는 프로젝트 요청은 `wandb-cache-mode` 헤더를 사용하여 [exact-response caching](/ko/model-distillation/proxy/response-caching)에 옵트인할 수도 있으며, 이는 공급자를 호출하는 대신 이전과 동일한 응답을 재생합니다.

<Accordion title="API: 프로젝트 라우팅 요청 보내기 (POST /chat/completions)">
  ```bash theme={"system"}
  curl --request POST \
    --url "https://proxy.training.wandb.ai/v1/chat/completions" \
    --header "Authorization: Bearer $WANDB_API_KEY" \
    --header "Content-Type: application/json" \
    --data '{
      "model": "ticket-classifier",
      "messages": [{"role": "user", "content": "Classify this request"}],
      "metadata": {"wandb.entity": "your-team"}
    }'
  ```

  전체 요청 및 응답 스키마는 [라우팅된 Chat Completion 생성](/ko/model-distillation/reference/proxy/chat-completions/create-a-routed-chat-completion)을 참조하세요.
</Accordion>

<h2 id="fail-closed-behavior">
  Fail closed 동작
</h2>

proxy는 알 수 없는 W\&B 키, entities, 프로젝트, 버전 및 공급자를 임의의 엔드포인트를 호출하기 전에 거부합니다. 공급자 URL과 자격 증명은 서버에서 관리하는 materialization에서만 제공되며, 호출자는 요청 헤더나 토큰에 이를 제공할 수 없습니다.


## Related topics

- [API 개요](/ko/model-distillation/reference/overview.md)