이 API는 Serverless Inference에서 호스팅하는 모델을 호출합니다. Dedicated Inference 게이트웨이, 배포, 용량 클레임을 관리하려면 Dedicated Inference API 레퍼런스를 참조하세요. Serverless Inference, Dedicated Inference, Inference on CKS 간의 비교는 CoreWeave Inference 소개를 참조하세요.
기본 URL
Inference 서비스에는 다음 주소로 액세스하세요.사전 요구 사항
Inference API를 호출하려면 다음이 필요합니다.- Inference 크레딧이 있는 W&B 계정
- 유효한 W&B API 키
[YOUR-TEAM]/[YOUR-PROJECT]로 표시합니다. 이 값을 지정하지 않으면 W&B는 기본 entity와 inference라는 프로젝트 이름을 사용합니다.
사용 가능한 메서드
Inference API는 파운데이션 모델과 상호 작용할 수 있는 OpenAI 호환 엔드포인트를 제공합니다. 사용 가능한 메서드는 다음과 같습니다.- Chat Completions: 파운데이션 모델로 Chat Completion을 생성합니다.
- 모델 목록: 사용 가능한 모든 모델과 모델 ID를 조회합니다.
인증
모든 API 요청은 W&B API 키로 인증해야 합니다. API 키는 forge.coreweave.com/settings에서 생성할 수 있습니다. 요청 헤더에 API 키를 포함하세요.- OpenAI SDK를 사용하는 경우
api_key매개변수를 설정하세요. - API를 직접 호출하는 경우
Authorization: Bearer [YOUR-API-KEY]를 사용하세요.
오류 처리
전체 오류 코드 목록과 해결 방법은 API 오류를 참조하세요.다음 단계
API 키를 발급받은 후 다음 중 하나를 진행하세요.- 사용 예시를 직접 사용해 보면서 API의 작동 방식을 확인하세요.
- Inference UI에서 모델을 살펴보세요.
- 계정의 사용 한도를 확인하세요.