샌드박스에 모델 배포하기

​

모델 배포

1. Registry로 이동하세요.
2. 레지스트리를 선택하세요.
3. 컬렉션을 선택하세요.
4. 모델 버전을 선택하세요.
5. 작업 메뉴()를 선택한 다음 Deploy를 선택하세요.
6. Version 드롭다운에서 배포할 모델 버전을 선택하세요.
7. Deployment 이름 필드에 배포 이름을 입력하세요.
8. Next를 선택하세요.
9. 배포에 연결할 팀을 선택하세요.
10. 컴퓨팅 리소스를 선택하세요.
11. Lifetime 드롭다운에서 샌드박스의 최대 실행 시간을 선택하세요.
12. Serving engine을 설정하세요. 기본값이자 현재 지원되는 유일한 엔진은 vLLM입니다.
13. Next를 선택하세요.
14. 배포 세부 정보를 검토한 다음 Deploy를 선택하세요.

​

컴퓨팅 리소스

​

샌드박스 상태

​

배포 보기

1. Registry로 이동하세요.
2. 레지스트리를 선택하세요.
3. 컬렉션을 선택하세요.
4. 모델 버전을 선택하세요.
5. Deployments 탭을 선택하세요.
6. 다음 중 한 가지 방법으로 배포 세부 정보를 여세요.
   • 배포된 샌드박스의 이름을 선택하세요.
   • 작업 메뉴()를 선택한 다음 View deployment details를 선택하세요.

​

배포 개요

• Status: 샌드박스의 현재 상태입니다.
• Created by: 배포를 생성한 사용자입니다.
• Created at: 배포를 생성한 시각입니다.

​

샌드박스 설정

• Instance name: 샌드박스 인스턴스의 이름입니다.
• Serving engine: 모델을 서빙하는 엔진입니다.
• Team: 샌드박스를 생성한 팀입니다.
• Compute resources: 샌드박스에 할당된 CPU, 메모리, GPU 리소스입니다.
• Expires in: 샌드박스가 만료되기까지 남은 시간입니다.
• Endpoint address: 배포된 샌드박스에 요청을 보낼 때 사용하는 주소입니다.
• curl example: curl로 배포 엔드포인트에 요청을 보내는 예시입니다.

​

배포된 모델에 액세스하기

​

엔드포인트 주소 확인

1. 배포 세부 정보를 여세요.
2. Sandbox configuration에서 Endpoint address를 확인하세요.

​

배포 테스트

import httpx

base_url = "sandbox-url"

response = httpx.post(
    f"{base_url}/v1/chat/completions",
    headers={
        "Content-Type": "application/json",
    },
    json={
        "model": "local",
        "messages": [
            {
                "role": "user",
                "content": "Reply with OK."
            },
        ],
        "temperature": 0,
        "max_tokens": 5,
    },
    timeout=60,
)

response.raise_for_status()
print(response.json()["choices"][0]["message"]["content"])

curl --fail-with-body \
  "sandbox-url/v1/chat/completions" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "local",
    "messages": [
      {
        "role": "user",
        "content": "Reply with OK."
      }
    ],
    "temperature": 0,
    "max_tokens": 5
  }'

​

배포 복제

1. 레지스트리로 이동하세요.
2. 레지스트리를 선택하세요.
3. 컬렉션을 선택하세요.
4. 모델 버전을 선택하세요.
5. Deployments 탭을 선택하세요.
6. action () 메뉴를 선택한 다음 Clone deployment를 선택하세요.
7. 배포 설정을 검토하거나 수정한 다음 배포를 확정하세요.

​

배포 중지

1. Registry로 이동하세요.
2. 레지스트리를 선택하세요.
3. 컬렉션을 선택하세요.
4. 모델 버전을 선택하세요.
5. Deployments 탭을 선택하세요.
6. 배포를 선택하세요.
7. 작업 메뉴()를 선택한 다음 Stop deployment를 선택하세요.

​

청구 및 사용량