이 API는 Serverless Inference에서 호스팅하는 모델을 호출합니다. Dedicated Inference 게이트웨이, 배포, 용량 클레임을 관리하려면 Dedicated Inference API 레퍼런스를 참조하세요. Serverless Inference, Dedicated Inference, Inference on CKS 간의 비교는 CoreWeave Inference 소개를 참조하세요.
기본 URL
Serverless Inference 서비스에는 다음 주소로 액세스하세요.사전 요구 사항
Serverless Inference API를 호출하려면 다음이 필요합니다.- Serverless Inference 크레딧이 있는 CoreWeave Forge 계정
- 유효한 CoreWeave Forge API 키
-
필요한 라이브러리 설치:
[YOUR-TEAM]/[YOUR-PROJECT]로 표시합니다. 이 값을 지정하지 않으면 Serverless Inference는 기본 entity와 inference라는 프로젝트 이름을 사용합니다.
사용 가능한 메서드
Serverless Inference API는 파운데이션 모델과 상호 작용할 수 있는 OpenAI 호환 엔드포인트를 제공합니다. 사용 가능한 메서드는 다음과 같습니다.- Chat Completion: 파운데이션 모델로 Chat Completion을 생성합니다.
- 모델 목록: 사용 가능한 모든 모델과 모델 ID를 조회합니다.
인증
모든 API 요청은 CoreWeave Forge API 키로 인증해야 합니다. API 키는 forge.coreweave.com/settings에서 생성할 수 있습니다. 요청 헤더에 API 키를 포함하세요.- OpenAI SDK를 사용하는 경우
api_key매개변수를 설정하세요. - API를 직접 호출하는 경우
Authorization: Bearer [YOUR-API-KEY]를 사용하세요.
오류 처리
전체 오류 코드 목록과 해결 방법은 API 오류를 참조하세요.다음 단계
API 키를 발급받은 후 다음 중 하나를 진행하세요.- 사용 예시를 직접 사용해 보면서 API의 작동 방식을 확인하세요.
- Serverless Inference UI에서 모델을 살펴보세요.
- 계정의 사용 한도를 확인하세요.