라우팅된 Chat Completion 생성
Model Distillation 프로젝트를 선택하려면 OpenAI-Project: entity/project를, 버전을 선택하려면 metadata["forge.project_version"]을 보내세요(v1은 생략 가능). 설정된 라우팅을 사용하려면 model을 생략하거나 비워 두거나 router로 설정하세요. 프로젝트 귀속, 대화 트레이스 샘플링, 선택적 캐싱을 유지하면서 모델을 재정의하려면 model을 provider/model로 설정하세요. 재정의 요청에는 가중치가 적용된 대상의 매개변수 기본값이나 재정의 값이 아닌, 등록된 공급자와 호출자가 지정한 매개변수가 사용됩니다. 유효하지 않은 헤더는 대체 처리 없이 거부됩니다.
인증
개인/기본 entity 또는 소속 팀이 선택한 태스크와 공급자를 소유하고 있는 W&B API 키.
헤더
라우팅 설정을 소유한 Weights & Biases entity/프로젝트입니다. 호출자는 해당 entity에 대한 액세스 권한이 있어야 합니다. 존재하지 않는 프로젝트를 지정하면 404가 반환됩니다. 검증된 프로젝트는 사용 내역을 해당 프로젝트에 귀속시키기 위해 Serverless Inference로 전달됩니다.
"my-team/my-project"
비스트리밍 프로젝트 요청에 정확히 일치하는 응답 캐싱을 사용하도록 설정합니다. 캐시 ID에는 프로젝트 버전, 라우팅 리비전, 실제 적용되는 업스트림 요청 본문, 전달된 경로/쿼리 매개변수가 포함됩니다. 모델 재정의 값은 공급자 설정, 모델, 그대로 전달되는 사용자 ID에 따라 추가로 격리됩니다. readWrite는 캐시를 읽고 채우며, readOnly는 캐시를 읽기만 하고, writeOnly는 캐시를 채우기만 합니다. 8 MiB 이하의 성공 응답만 저장됩니다. 잘못된 값을 지정하면 HTTP 400이 반환됩니다. 스트리밍 요청에는 응답 캐싱이 지원되지 않습니다.
readWrite, readOnly, writeOnly 본문
1OpenAI-Project를 사용하는 경우, 설정된 라우팅을 적용하려면 값을 생략하거나 비워 두거나 router로 지정하세요. 프로젝트 내에서 모델을 재정의하려면 {provider}/{model-id}를 사용하세요.
1 <= x <= 90071992547409911 <= x <= 9007199254740991