​

Serverless Inference

• 호스팅 공급자에 가입하거나 모델을 직접 호스팅하지 않고 AI 애플리케이션과 에이전트를 개발합니다.
• Weave 플레이그라운드에서 지원되는 모델을 사용해 봅니다.

• 사전 요구 사항
  • Python으로 API를 사용하기 위한 추가 사전 요구 사항
• API 사양
  • 엔드포인트
  • 사용 가능한 메서드
    • Chat Completion
    • 지원되는 모델 목록
• 사용 예시
• UI
  • Inference 서비스 액세스
  • 플레이그라운드에서 모델 사용해 보기
  • 여러 모델 비교
  • 결제 및 사용 정보 보기
• 사용 정보 및 제한
• API 오류

​

사전 요구 사항

1. CoreWeave Forge 계정. 계정에 가입하세요.
2. API 키. User Settings에서 API 키를 생성하세요.
3. Weights & Biases 프로젝트.
4. Python을 통해 Inference 서비스를 사용하는 경우, Python에서 API를 사용하기 위한 추가 사전 요구 사항을 참조하세요.

​

Python에서 API를 사용하기 위한 추가 사전 요구 사항

pip install openai weave

​

API 사양

• 엔드포인트
• 사용 가능한 메서드
• 사용 예시

​

엔드포인트

https://api.inference.wandb.ai/v1

​

사용 가능한 메서드

• Chat Completion
• 지원되는 모델 목록

​

Chat Completion

• Inference 서비스의 기본 URL https://api.inference.wandb.ai/v1
• W&B API 키 <your-api-key>
• W&B entity 및 프로젝트 이름 <your-team>/<your-project>
• 사용할 모델의 ID로, 다음 중 하나:
  • meta-llama/Llama-3.1-8B-Instruct
  • deepseek-ai/DeepSeek-V3-0324
  • meta-llama/Llama-3.3-70B-Instruct
  • deepseek-ai/DeepSeek-R1-0528
  • meta-llama/Llama-4-Scout-17B-16E-Instruct
  • microsoft/Phi-4-mini-instruct

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \
  -d '{
    "model": "<model-id>",
    "messages": [
      { "role": "system", "content": "You are a helpful assistant." },
      { "role": "user", "content": "Tell me a joke." }
    ]
  }'

import openai

client = openai.OpenAI(
    # 맞춤형 기본 URL은 Serverless Inference를 가리킵니다
    base_url='https://api.inference.wandb.ai/v1',

    # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
    # 안전을 위해 환경에 OPENAI_API_KEY로 설정하는 것을 고려하세요
    api_key="<your-api-key>",

    # 사용량 추적에는 팀과 프로젝트가 필요합니다
    project="<your-team>/<your-project>",
)

# <model-id>를 다음 값 중 하나로 바꾸세요:
# meta-llama/Llama-3.1-8B-Instruct
# deepseek-ai/DeepSeek-V3-0324
# meta-llama/Llama-3.3-70B-Instruct
# deepseek-ai/DeepSeek-R1-0528
# meta-llama/Llama-4-Scout-17B-16E-Instruct
# microsoft/Phi-4-mini-instruct

response = client.chat.completions.create(
    model="<model-id>",
    messages=[
        {"role": "system", "content": "<your-system-prompt>"},
        {"role": "user", "content": "<your-prompt>"}
    ],
)

print(response.choices[0].message.content)

​

지원되는 모델 목록

curl https://api.inference.wandb.ai/v1/models \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -H "OpenAI-Project: <your-team>/<your-project>" \

import openai

client = openai.OpenAI(
    base_url="https://api.inference.wandb.ai/v1",
    api_key="<your-api-key>",
    project="<your-team>/<your-project>"
)

response = client.models.list()

for model in response.data:
    print(model.id)

​

사용 예시

• 기본 예시: Weave로 Llama 3.1 8B 트레이싱
• 고급 예시: Inference 서비스에서 Weave Evaluations 및 Leaderboards 사용

​

기본 예시: Weave로 Llama 3.1 8B 트레이스

• @weave.op()로 데코레이션된 run_chat 함수를 정의하며, 이 함수는 OpenAI 호환 클라이언트를 사용하여 Chat Completion 요청을 수행합니다.
• Weave는 트레이스를 기록하고 W&B entity 및 project="<your-team>/<your-project>" 프로젝트와 연결합니다.
• Weave는 함수를 자동으로 트레이스하여 입력, 출력, 지연 시간, 메타데이터(예: 모델 ID)를 로깅합니다.
• 결과는 터미널에 출력되며, 트레이스는 지정된 프로젝트 아래 Forge의 Traces 탭에 표시됩니다.

import weave
import openai

# 트레이싱을 위해 Weave 팀과 프로젝트를 설정하세요
weave.init("<your-team>/<your-project>")

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',

    # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
    api_key="<your-api-key>",

    # W&B Inference 사용량 추적에 필요합니다
    project="wandb/inference-demo",
)

# Weave에서 모델 Call을 트레이스하세요
@weave.op()
def run_chat():
    response = client.chat.completions.create(
        model="meta-llama/Llama-3.1-8B-Instruct",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Tell me a joke."}
        ],
    )
    return response.choices[0].message.content

# 트레이스된 호출을 실행하고 로깅하세요
output = run_chat()
print(output)

1. Forge로 이동합니다.
2. Weave 트레이스를 보려면 Traces 탭을 선택합니다.

​

고급 예시: Inference 서비스에서 Weave Evaluations 및 Leaderboards 사용하기

import os
import asyncio
import openai
import weave
from weave.flow import leaderboard
from weave.trace.ref_util import get_ref

# 트레이싱에 사용할 Weave 팀과 프로젝트를 설정합니다
weave.init("<your-team>/<your-project>")

dataset = [
    {"input": "What is 2 + 2?", "target": "4"},
    {"input": "Name a primary color.", "target": "red"},
]

@weave.op
def exact_match(target: str, output: str) -> float:
    return float(target.strip().lower() == output.strip().lower())

class WBInferenceModel(weave.Model):
    model: str

    @weave.op
    def predict(self, prompt: str) -> str:
        client = openai.OpenAI(
            base_url="https://api.inference.wandb.ai/v1",
            # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
            api_key="<your-api-key>",
            # W&B Inference 사용량 추적에 필요합니다
            project="<your-team>/<your-project>",
        )
        resp = client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
        )
        return resp.choices[0].message.content

llama = WBInferenceModel(model="meta-llama/Llama-3.1-8B-Instruct")
deepseek = WBInferenceModel(model="deepseek-ai/DeepSeek-V3-0324")

def preprocess_model_input(example):
    return {"prompt": example["input"]}

evaluation = weave.Evaluation(
    name="QA",
    dataset=dataset,
    scorers=[exact_match],
    preprocess_model_input=preprocess_model_input,
)

async def run_eval():
    await evaluation.evaluate(llama)
    await evaluation.evaluate(deepseek)

asyncio.run(run_eval())

spec = leaderboard.Leaderboard(
    name="Inference Leaderboard",
    description="Compare models on a QA dataset",
    columns=[
        leaderboard.LeaderboardColumn(
            evaluation_object_ref=get_ref(evaluation).uri(),
            scorer_name="exact_match",
            summary_metric_path="mean",
        )
    ],
)

weave.publish(spec)

• Traces 탭으로 이동하여 트레이스를 확인하세요.
• Evals 탭으로 이동하여 모델 평가를 확인하세요.
• Leaders 탭으로 이동하여 생성된 leaderboard를 확인하세요.

​

UI

​

Inference 서비스 액세스

• 직접 연결
• Inference 탭에서
• 플레이그라운드 탭에서

​

직접 링크

​

Inference 탭에서 접근하기

1. Forge에서 CoreWeave Forge 계정으로 이동하세요.
2. 왼쪽 사이드바에서 Inference를 선택하세요. 사용 가능한 모델과 모델 정보를 보여 주는 페이지가 표시됩니다.

​

플레이그라운드 탭에서

1. 왼쪽 사이드바에서 플레이그라운드를 선택하세요. 플레이그라운드 채팅 UI가 표시됩니다.
2. LLM 드롭다운 목록에서 Serverless Inference에 마우스를 올리세요. 사용 가능한 Serverless Inference 모델이 있는 드롭다운이 오른쪽에 표시됩니다.
3. Serverless Inference 모델 드롭다운에서 다음을 수행할 수 있습니다:
   • 사용 가능한 모델의 이름을 클릭하여 플레이그라운드에서 사용해 보세요.
   • 플레이그라운드에서 하나 이상의 모델을 비교하세요.

​

플레이그라운드에서 모델 사용해 보기

• 모델 설정 및 매개변수 사용자 지정
• 메시지 추가, 재시도, 편집 및 삭제
• 맞춤형 설정이 적용된 모델 저장 및 재사용
• 여러 모델 비교

​

여러 모델 비교

• Inference 탭에서 Compare 뷰 액세스
• 플레이그라운드 탭에서 Compare 뷰 액세스

​

Inference 탭에서 Compare 뷰에 액세스하기

1. 왼쪽 사이드바에서 Inference를 선택하세요. 사용 가능한 모델과 모델 정보가 표시된 페이지가 나타납니다.
2. 비교할 모델을 선택하려면 모델 Card의 아무 곳이나 클릭하세요(모델 이름은 제외). 선택을 나타내기 위해 모델 Card의 테두리가 파란색으로 강조 표시됩니다.
3. 비교하려는 각 모델에 대해 단계 2를 반복하세요.
4. 선택한 Card 중 하나에서 플레이그라운드에서 N개 모델 비교 버튼을 클릭하세요(N은 비교 중인 모델 수입니다. 예를 들어 3개 모델을 선택하면 버튼이 플레이그라운드에서 3개 모델 비교로 표시됩니다). 뷰가 열립니다.

​

플레이그라운드 탭에서 Compare 뷰에 액세스하기

1. 왼쪽 사이드바에서 플레이그라운드를 선택하세요. 플레이그라운드 chat UI가 표시됩니다.
2. LLM 드롭다운 목록에서 Serverless Inference 위에 마우스를 올리세요. 사용 가능한 Serverless Inference 모델의 드롭다운이 오른쪽에 표시됩니다.
3. 드롭다운에서 비교를 선택하세요. Inference 탭이 표시됩니다.
4. 비교할 모델을 선택하려면 모델 Card의 아무 곳이나 클릭하세요(모델 이름 제외). 선택을 나타내기 위해 모델 Card의 테두리가 파란색으로 강조 표시됩니다.
5. 비교하려는 각 모델에 대해 4단계를 반복하세요.
6. 선택한 Card 중 하나에서 플레이그라운드에서 N개 모델 비교 버튼을 클릭하세요(N은 비교 중인 모델 수입니다. 예를 들어, 3개 모델을 선택하면 버튼이 플레이그라운드에서 3개 모델 비교로 표시됩니다). 뷰가 열립니다.

​

결제 및 사용 정보 보기

1. Weights & Biases UI에서 W&B Billing 페이지로 이동하세요.
2. 오른쪽 하단에 Inference 결제 정보 Card가 표시됩니다. 여기에서 다음 작업을 할 수 있습니다.
   • Inference 결제 정보 Card에서 View usage 버튼을 클릭하여 시간 경과별 사용량을 확인하세요.
   • 유료 플랜을 사용 중이라면 예정된 Inference 요금을 확인하세요.

​

사용 정보 및 한도

​

지리적 제한

​

동시성 한도

• 오용을 방지하고 API 안정성을 보호합니다.
• 모든 사용자의 액세스를 보장합니다.
• 인프라 부하를 효과적으로 관리합니다.

​

가격

​

API 오류