도구 호출 - CoreWeave Docs

도구 호출을 사용하면 모델이 응답 과정에서 도구를 호출할 수 있도록 모델의 기능이 확장됩니다. 이를 통해 모델은 실시간 데이터를 가져오거나, 애플리케이션에서 액션을 트리거하거나, 트레이닝 데이터만으로는 처리할 수 없는 요청을 처리할 수 있습니다. Serverless Inference는 함수 호출만 지원합니다. 함수를 호출하려면 모델에 보내는 요청에 함수와 해당 인수를 지정하세요. 모델은 프롬프트에 답하는 데 함수 실행이 필요한지 판단하고, 필요한 경우 인수 값을 채워 넣습니다. 다음 예시에서는 get_weather 함수를 정의한 뒤, 이 함수를 호출해야 답할 수 있는 질문을 모델에 보냅니다.

Python
Bash

import openai

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',
    api_key="[YOUR-API-KEY]",  # https://forge.coreweave.com/settings 에서 API 키를 생성하세요
)

response = client.chat.completions.create(
    model="openai/gpt-oss-20b",
    messages=[
        {"role": "user", "content": "What is the weather like in San Francisco? Use Fahrenheit."},
    ],
    tool_choice="auto",
    tools=[
        {
            "type": "function",
            "function": {
                "name": "get_weather",
                "description": "Get the current weather in a given location",
                "parameters": {
                    "type": "object",
                    "properties": {
                        "location": {"type": "string", "description": "City and state, e.g., 'San Francisco, CA'"},
                        "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                    },
                    "required": ["location", "unit"],
                },
            },
        }
    ],
)

print(response.choices[0].message.tool_calls)

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer [YOUR-API-KEY]" \
  -d '{
    "model": "openai/gpt-oss-20b",
        "messages": [
            {"role": "user", "content": "What is the weather like in San Francisco? Use Fahrenheit."},
        ],
        "tool_choice": "auto",
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_weather",
                    "description": "Get the current weather in a given location",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "location": {"type": "string", "description": "City and state, e.g., 'San Francisco, CA'"},
                            "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                        },
                        "required": ["location", "unit"],
                    },
                },
            }
        ],
  }'