라우팅 및 버전 - CoreWeave Docs

라우팅은 프로젝트 버전을 서빙할 모델을 지정합니다. 각 대상에는 모델 참조, 0 이상의 가중치, 그리고 선택 사항인 매개변수 재정의가 포함됩니다.

가중치는 상대적입니다

가중치의 합이 100일 필요는 없습니다. 가중치가 3과 1인 설정에서는 트래픽이 각각 약 75%와 25%씩 분배됩니다. 가중치가 0인 대상은 설정에 사용 가능한 상태로 남아 있지만, 가중치 기반의 새 트래픽은 받지 않습니다. 전체 승격 후에도 이전 모델을 확인하고 롤백할 수 있도록 유지하려면 가중치를 0으로 설정하세요.

고정 라우팅

요청에 wandb.thread_id 또는 gen_ai.conversation.id가 포함되어 있으면, 프록시는 해당 라우팅 리비전 동안 그 대화를 항상 동일한 대상으로 결정적으로 라우팅합니다. 대화 ID가 없으면 요청마다 대상이 독립적으로 선택됩니다.

대상 매개변수

temperature, 추론 강도(reasoning effort), 응답 형식, 공급자별 제어 옵션 등의 값을 추가하려면 모델 아래의 Parameters를 펼치세요. 숫자, 불리언, 배열, 객체는 JSON으로 파싱되며, 그 외 텍스트는 문자열로 처리됩니다. 호출자가 같은 필드를 제공하더라도 저장된 재정의 값이 우선 적용됩니다.

기존 버전 또는 새 버전에 저장

프로젝트의 Routing 페이지를 여세요. 대상을 추가하거나 편집하고, 버전 표시줄에서 저장 대상을 선택한 다음 Save routing을 선택하세요. 버전 표시줄도 같은 저장 동작에 포함됩니다.

기존 버전을 선택하면 해당 버전에 적용할 라우팅이 교체됩니다.
새 버전 옵션을 선택하면 새 버전이 생성됩니다. 새 버전은 Save routing을 선택해야만 생성됩니다. 새 버전은 name@vN으로 호출하세요.

저장할 때마다 새 라우팅 리비전이 게시됩니다. 라우팅 리비전은 해당 버전의 설정에 번호를 매긴 것으로, 대상, 가중치, 매개변수 재정의, 트레이스 샘플링 비율을 포함합니다. 게시는 비동기로 처리되므로, 저장된 설정은 해당 리비전의 배포 상태가 Applied로 바뀐 후에야 트래픽을 서빙합니다.

버전을 삭제하면 해당 버전에 고정된 호출자는 404 응답을 받습니다. 버전 1은 삭제할 수 없습니다.

API: 프로젝트 버전의 라우팅 교체 (PUT /tasks/{alias}/versions/{version}/routing)

라우팅을 업데이트하면 설정 전체가 교체되므로, 요청에 모든 대상과 함께 trace_sampling_rate도 포함해야 합니다. 기존 샘플링 비율을 유지하려면 요청에 해당 값을 그대로 전달하세요. 롤백에 대비해 이전 모델을 사용 가능한 상태로 남겨 두려면 가중치를 0으로 유지하세요.

curl --request PUT \
  --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier/versions/2/routing" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team" \
  --header "Content-Type: application/json" \
  --data '{
    "trace_sampling_rate": 1,
    "targets": [
      {"model_ref": "openai/gpt-5.6-sol", "weight": 0},
      {"model_ref": "wandb-inference/your-fine-tuned-model", "weight": 1}
    ]
  }'

현재 리비전의 배포 상태가 applied가 될 때까지 반환된 라우팅 상태를 폴링하세요. 자세한 내용은 태스크 버전의 라우팅 교체를 참조하세요.

​가중치는 상대적입니다

​고정 라우팅

​대상 매개변수

​기존 버전 또는 새 버전에 저장

가중치는 상대적입니다

고정 라우팅

대상 매개변수

기존 버전 또는 새 버전에 저장