messages는 필수 필드입니다. OpenAI-Project 헤더를 사용할 때 가중치 라우팅을 적용하려면 model을 router로 지정하거나, 비워 두거나, 생략하세요. 모델 재정의를 적용하려면 provider/model-id로 지정하세요. 나머지 필드는 선택한 공급자가 지원하는 경우 그대로 전달됩니다.
스트리밍
평소처럼stream: true를 설정하세요. 공급자의 서버 전송 이벤트(server-sent events)는 [DONE]을 포함해 도착하는 즉시 전달됩니다. 트레이스되는 스트림에서는 토큰 수를 집계할 수 있도록 프록시가 내부적으로 스트림 사용량 정보를 요청할 수 있습니다. 이 동작은 클라이언트에 표시되는 메시지 콘텐츠에 영향을 주지 않습니다.
스트리밍 요청에는 응답 캐싱을 사용할 수 없습니다.
도구 및 구조화된 출력
도구 정의, 도구 선택, 응답 형식 JSON 스키마, 채팅 템플릿 제어, 로그 확률, 멀티모달 콘텐츠, 공급자 확장, 추론 필드는 원시 트레이스 계약에 그대로 보존됩니다. 알 수 없는 요청 필드는 라우팅 과정에서 대체되거나 제거되지 않는 한 그대로 전달됩니다.우선순위
가중치 기반 프로젝트 경로의 경우, 프록시는 다음 순서로 최종 공급자 요청을 구성합니다. 요청에서 응답 캐싱을 활성화한 경우, 프록시는 프로젝트 버전을 확인한 후 대상을 선택하기 전에 캐시를 확인합니다. 캐시 적중 시에는 아래 단계를 건너뜁니다.- 클라이언트 본문을 기반으로 시작합니다.
model을 선택된 대상의 공급자 모델로 바꿉니다.- 대상의
params_override값을 병합합니다. 충돌이 발생하면 이 값이 우선합니다. - 공급자로 전달하기 전에
forge.*및wandb.*메타데이터를 제거합니다. - 필요한 경우 트레이스를 지원하는 스트림 옵션을 추가합니다.
model을 요청된 공급자의 모델 ID로 바꾸고, 호출자의 매개변수와 공급자의 추론 기본값은 그대로 유지합니다. 기본 temperature 같은 미세 조정된 모델의 추론 설정이나 대상의 params_override 값은 적용되지 않습니다. 재정의를 사용하면서 해당 temperature를 적용하려면 요청에 temperature를 포함하세요.
프록시는 자체적으로 구성한 헤더를 제외한 클라이언트 헤더를 전달하지 않습니다. 따라서 쿠키, 공급자 API 키, 조직 헤더, 관련 없는 권한 부여 헤더가 선택된 공급자에게 유출되지 않습니다. 단, wandb-inference 공급자는 예외로, 사용량 귀속을 위해 검증된 OpenAI-Project 값을 전달받습니다.
Vapi 요청
프록시는 Vapi의 요청 래퍼를 인식하여, 요청을 전달하기 전에 Vapi 전용 필드를 제거하고call.id를 대화 식별자의 대체값으로 사용합니다. 단, gen_ai.conversation.id를 명시적으로 지정한 경우에는 해당 값이 우선합니다.