맞춤형 런타임 추가

• 팀에서 OpenAI-compatible API로 서빙하는 에이전트 또는 모델 프로토타입
• 자체 호스팅 모델 또는 로컬 모델(예: Ollama나 vLLM으로 서빙하는 모델)
• Weave가 기본으로 지원하지 않는 공급자 또는 모델 버전

​

맞춤형 런타임을 사용할 수 있는 곳

• 플레이그라운드: 엔드포인트와 대화형으로 채팅하세요.
• Evaluation Playground: 다른 모델과 엔드포인트를 평가하고 비교하세요.
• 시그널: 들어오는 트레이스에 점수를 매기는 평가 모델로 엔드포인트를 사용하세요.
• Scorer iteration 및 Agent Signals 모델 선택기.
• Weave completions API: custom::<runtime-name>::<runtime-id> 모델 ID를 completions/create 엔드포인트에 전달하여 엔드포인트에 대해 traced completion을 프로그래밍 방식으로 실행하세요. service API reference를 참조하세요.

​

맞춤형 런타임 추가

​

코드로 맞춤형 런타임 추가하기

import weave

client = weave.init("[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]")

client.register_custom_runtime(
    name="support-agent",
    base_url="https://agent.example/v1",
    api_key_secret="AGENT_API_KEY",
    headers={"X-Tenant-ID": "customer-1"},
    runtime_ids=[
        "support-v12",
        weave.CustomRuntimeID(id="support-canary", max_tokens=8192),
    ],
)

import * as weave from 'weave';

const client = await weave.init('[YOUR-TEAM-NAME]/[YOUR-PROJECT-NAME]');

await client.registerCustomRuntime({
  name: 'support-agent',
  baseUrl: 'https://agent.example/v1',
  apiKeySecret: 'AGENT_API_KEY',
  headers: {'X-Tenant-ID': 'customer-1'},
  runtimeIds: ['support-v12', {id: 'support-canary', maxTokens: 8192}],
});

​

UI에서 맞춤형 런타임 등록

1. Weave 사이드바에서 Project를 선택한 다음 AI Providers 탭을 선택하세요. 또는 플레이그라운드 모델 선택기에서 Configure providers를 클릭하세요.
2. Add custom runtime를 클릭하세요. 그러면 설정 드로어가 열립니다.
3. 드로어에서 런타임의 이름, base URL, 하나 이상의 런타임 ID를 입력하세요. 선택적으로 API 키 시크릿과 맞춤형 헤더를 추가할 수 있습니다.
4. 런타임을 저장하세요.