> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 맞춤형 런타임 추가
> OpenAI-compatible 추론 엔드포인트를 맞춤형 런타임으로 Weave 프로젝트에 연결하고, UI 또는 Python 및 TypeScript SDK로 관리하세요.
맞춤형 런타임을 등록하면 OpenAI-compatible 추론 엔드포인트를 W\&B Weave 프로젝트에 연결할 수 있습니다. 등록을 마치면 해당 엔드포인트의 모델이 Weave 곳곳의 모델 선택기에 표시됩니다. 이제 사용자와 팀원은 별도의 인테그레이션 코드를 작성하지 않고도 플레이그라운드, Evaluation 플레이그라운드, LLM-as-a-judge 워크플로에서 이 모델을 사용할 수 있습니다.
맞춤형 런타임으로 다음을 연결할 수 있습니다.
* 팀에서 OpenAI-compatible API로 서빙하는 에이전트 또는 모델 프로토타입
* 자체 호스팅 모델 또는 로컬 모델(예: Ollama나 vLLM으로 서빙하는 모델)
* Weave가 기본으로 지원하지 않는 공급자 또는 모델 버전
맞춤형 런타임은 Weights & Biases UI에서 관리하거나, Python 및 TypeScript SDK를 사용해 프로그래밍 방식으로 관리할 수 있습니다. SDK 방식은 CI/CD 환경을 염두에 두고 설계되었습니다. 등록 작업은 선언적이고 멱등적이므로, 파이프라인에서 배포할 때마다 런타임을 다시 등록해도 Weave는 항상 지정한 설정 상태로 수렴합니다.
맞춤형 런타임을 사용할 수 있는 곳
등록된 맞춤형 런타임의 모델은 다음 위치의 모델 선택기에 나타납니다:
* [플레이그라운드](/ko/products/wandb/weave/guides/tools/playground): 엔드포인트와 대화형으로 채팅하세요.
* [Evaluation Playground](/ko/products/wandb/weave/guides/tools/evaluation_playground): 다른 모델과 엔드포인트를 평가하고 비교하세요.
* [시그널](/ko/products/wandb/weave/guides/evaluation/monitors): 들어오는 트레이스에 점수를 매기는 평가 모델로 엔드포인트를 사용하세요.
* Scorer iteration 및 Agent Signals 모델 선택기.
* Weave completions API: `custom::::` 모델 ID를 `completions/create` 엔드포인트에 전달하여 엔드포인트에 대해 traced completion을 프로그래밍 방식으로 실행하세요. [service API reference](/ko/products/wandb/weave/reference/service-api)를 참조하세요.
맞춤형 런타임 추가
코드 또는 Weights & Biases UI를 사용하여 프로젝트에 맞춤형 런타임을 추가할 수 있습니다. 맞춤형 런타임을 추가하려면 런타임에 대한 다음 정보가 필요합니다:
| 필드 | 설명 |
| - | - |
| 이름 | 프로젝트 내에서 런타임을 식별합니다. 모델 선택기에서 그룹 이름으로 표시됩니다. |
| Base URL | Weave가 completion 요청을 보내는 OpenAI-compatible 엔드포인트입니다. W\&B 서버에서 도달할 수 있어야 합니다. |
| Runtime IDs | 엔드포인트가 제공하는 하나 이상의 모델 ID입니다. 각 ID는 선택 가능한 모델로 표시됩니다. |
| Max tokens | 모델이 한 응답에서 생성할 수 있는 최대 토큰 수입니다. 런타임 ID별로 설정합니다. 기본값은 4096입니다. |
| API 키 시크릿 (선택) | 엔드포인트의 API 키를 보유한 [팀 시크릿](/ko/products/wandb/platform/secrets)의 이름입니다. |
| Headers (선택) | 엔드포인트에 대한 모든 요청과 함께 전송되는 맞춤형 HTTP 헤더입니다. |
코드로 맞춤형 런타임 추가하기
이전 섹션에서 정리한 런타임 정보로 다음 등록 요청의 해당 필드를 수정한 후 실행하면 프로젝트에 맞춤형 런타임을 생성하거나 업데이트할 수 있습니다. 프로그래밍 방식으로 등록하려면 `weave` Python 패키지 버전 0.53.4 이상 또는 `weave` npm 패키지 버전 0.16.5 이상이 필요합니다.
```python theme={"system"}
import weave
client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")
client.register_custom_runtime(
name="support-agent",
base_url="https://agent.example/v1",
api_key_secret="AGENT_API_KEY",
headers={"X-Tenant-ID": "customer-1"},
runtime_ids=[
"support-v12",
weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
],
)
```
```typescript theme={"system"}
import * as weave from 'weave';
const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');
await client.registerCustomRuntime({
name: 'support-agent',
baseUrl: 'https://agent.example/v1',
apiKeySecret: 'AGENT_API_KEY',
headers: {'X-Tenant-ID': 'customer-1'},
runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});
```
런타임을 추가하면 해당 런타임 ID는 `custom::::` 형식으로 참조됩니다. 호출이 성공하면 UI에서 등록한 런타임과 마찬가지로 런타임의 모델이 모델 선택기의 런타임 이름 아래에 표시됩니다.
런타임을 업데이트한 후에도 캐시가 만료될 때까지 최대 60초 동안 추론에 이전 설정이 계속 사용될 수 있습니다.
UI에서 맞춤형 런타임 등록
Weights & Biases UI에서 맞춤형 런타임을 등록하려면:
1. Weave 사이드바에서 **Project**를 선택한 다음 **AI Providers** 탭을 선택하세요. 또는 플레이그라운드 모델 선택기에서 **Configure providers**를 클릭하세요.
2. **Add custom runtime**를 클릭하세요. 그러면 설정 드로어가 열립니다.
3. 드로어에서 런타임의 이름, base URL, 하나 이상의 런타임 ID를 입력하세요. 선택적으로 API 키 시크릿과 맞춤형 헤더를 추가할 수 있습니다.
4. 런타임을 저장하세요.
런타임의 모델은 런타임 이름으로 된 그룹 아래 모델 선택기에 표시됩니다. 런타임 ID 없이 저장된 런타임은 선택기에서 **Add runtime ID** 액션과 함께 표시되며, 이 액션을 클릭하면 편집기를 다시 열 수 있습니다.
런타임을 편집하거나 제거하려면 **AI Providers** 탭의 런타임 행에 있는 편집 및 삭제 컨트롤을 사용하세요. 런타임을 삭제하면 되돌릴 수 없습니다.