> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Serverless Inference

> W&B Weave와 OpenAI 호환 API를 통해 오픈 소스 파운데이션 모델에 액세스하세요

Serverless Inference를 사용하면 W\&B Weave와 OpenAI 호환 API를 통해 주요 오픈 소스 파운데이션 모델에 액세스할 수 있습니다.

* Inference를 사용하면 호스팅 공급자에 가입하거나 모델을 직접 호스팅하지 않고도 AI 애플리케이션과 에이전트를 구축할 수 있습니다.
* Weave를 사용하면 Serverless Inference 기반 애플리케이션을 트레이스, 평가, 모니터링하고 개선할 수 있습니다.

<h2 id="try-out-inference-in-the-ui">
  UI에서 Inference 사용해 보기
</h2>

[https://forge.coreweave.com/inference](https://forge.coreweave.com/inference)로 이동하여 사용 가능한 모델을 살펴보고 Weave 플레이그라운드에서 직접 사용해 보세요.

웹 인터페이스에 대한 자세한 내용은 [UI 가이드](/ko/products/inference/serverless/ui-guide)를 참조하세요.

<h2 id="use-inference-through-the-api">
  API를 통해 Inference 사용하기
</h2>

이 Python 예시는 Inference를 사용하여 LLM에 Chat Completion 요청을 보냅니다.

```python lines theme={"system"}
import openai

client = openai.OpenAI(
    # 맞춤형 기본 URL은 Serverless Inference를 가리킵니다
    base_url='https://api.inference.wandb.ai/v1',

    # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
    api_key="<your-api-key>",

    # 선택: 사용량 추적을 위한 팀 및 프로젝트
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)
```

<h2 id="next-steps">
  다음 단계
</h2>

1. [사전 요구 사항](/ko/products/inference/serverless/prerequisites)에 따라 계정을 설정하세요.
2. [사용 가능한 모델](/ko/products/inference/serverless/models)과 [사용 정보 및 제한](/ko/products/inference/serverless/usage-limits)을 검토하세요.
3. [API](/ko/products/inference/serverless/api-reference) 또는 [UI](/ko/products/inference/serverless/ui-guide)를 통해 서비스를 사용하세요.
4. [W\&B Weave 플레이그라운드](/ko/products/wandb/weave/guides/tools/playground)에서 지원되는 모델을 사용해 보세요.
5. [사용 예시](/ko/products/inference/serverless/examples)를 사용해 보세요.

<Info>
  가격, 사용 제한, 크레딧에 대한 정보는 [사용 정보 및 제한](/ko/products/inference/serverless/usage-limits)을 참조하세요.
</Info>


## Related topics

- [Serverless Inference](/ko/redirects/forge/inference.md)