라우팅된 Chat Completion 생성

curl --request POST \
  --url https://proxy.training.wandb.ai/v1/chat/completions \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "model": "ticket-classifier",
  "messages": [
    {
      "role": "user",
      "content": "Classify this support request."
    }
  ],
  "metadata": {
    "wandb.entity": "your-team",
    "wandb.thread_id": "conversation-4827"
  }
}
'

{
  "id": "<string>",
  "object": "<string>",
  "created": 0,
  "model": "<string>",
  "choices": [
    {
      "index": 0,
      "message": {},
      "finish_reason": "<string>"
    }
  ],
  "usage": {}
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

POST

chat

completions

curl --request POST \
  --url https://proxy.training.wandb.ai/v1/chat/completions \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "model": "ticket-classifier",
  "messages": [
    {
      "role": "user",
      "content": "Classify this support request."
    }
  ],
  "metadata": {
    "wandb.entity": "your-team",
    "wandb.thread_id": "conversation-4827"
  }
}
'

{
  "id": "<string>",
  "object": "<string>",
  "created": 0,
  "model": "<string>",
  "choices": [
    {
      "index": 0,
      "message": {},
      "finish_reason": "<string>"
    }
  ],
  "usage": {}
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

{
  "error": {
    "message": "<string>",
    "type": "proxy_error"
  }
}

인증

Authorization

string

header

필수

개인/기본 entity 또는 소속 팀이 선택한 태스크와 공급자를 소유하고 있는 W&B API 키.

헤더

wandb-cache-mode

enum<string>

스트리밍을 사용하지 않는 태스크 라우팅 요청 또는 직접 provider/model 요청에 정확히 일치하는 응답 캐싱을 활성화합니다. 캐시 ID에는 실제 적용된 업스트림 요청 본문과 전달된 경로/쿼리 매개변수가 포함됩니다. 직접 요청의 캐시는 entity, 공급자 설정, 모델, 그대로 전달되는 사용자 ID 및 전달된 W&B Inference 프로젝트에 따라 추가로 분리됩니다. readWrite는 캐시를 조회하고 응답을 저장하며, readOnly는 저장 없이 조회만 하고, writeOnly는 조회 없이 저장만 합니다. 크기가 8 MiB 이하인 성공 응답만 저장됩니다. 유효하지 않은 값을 지정하면 HTTP 400이 반환됩니다. op-cache도 제공하는 경우 두 헤더에 동일한 모드를 지정해야 합니다. 스트리밍 요청은 응답 캐싱을 지원하지 않습니다.

사용 가능한 옵션:

readWrite,

readOnly,

writeOnly

op-cache

enum<string>

wandb-cache-mode의 OpenPipe 호환 별칭입니다. 동일한 모드를 허용하며, true는 readWrite와 같습니다. 두 헤더를 모두 제공하는 경우 동일한 모드를 지정해야 합니다.

사용 가능한 옵션:

readWrite,

readOnly,

writeOnly,

true

본문

application/json

model

string

필수

태스크 별칭, alias@vN 또는 {provider}/{model-id}.

Minimum string length: 1

messages

object[]

필수

Minimum array length: 1

Show child attributes

metadata

object

Show child attributes

stream

boolean

기본값:false

temperature

number

tools

object[]

Show child attributes

tool_choice

any

response_format

object

Show child attributes

reasoning_effort

string

max_tokens

integer

필수 범위: 1 <= x <= 9007199254740991

max_completion_tokens

integer

필수 범위: 1 <= x <= 9007199254740991

{key}

any

응답

공급자 응답입니다. 스트리밍 요청은 서버 전송 이벤트를 반환하며 [DONE]으로 종료됩니다.

string

object

string

created

integer

필수 범위: -9007199254740991 <= x <= 9007199254740991

model

string

choices

object[]

Show child attributes

usage

object

Show child attributes

{key}

any

마지막 수정일 2026년 9월 30일