퀵스타트: 함수 계측 및 트레이스

코드에 트레이싱을 추가해 Weave로 LLM Call을 추적하는 방법을 알아보세요. 이 퀵스타트에서는 OpenAI 요청을 트레이싱하고 Weights & Biases UI에서 결과를 확인하는 과정을 단계별로 안내합니다. Weave를 처음 사용하며, 디버깅과 모니터링을 위해 LLM 애플리케이션을 계측하려는 개발자를 대상으로 합니다.

학습 내용

이 가이드에서는 다음 방법을 알아봅니다.

코드에서 Weave를 임포트하고 설정하는 방법
weave.op 데코레이터를 사용해 코드를 추적하는 방법
Weights & Biases UI에서 트레이스를 확인하는 방법

사전 요구 사항

CoreWeave Forge 계정
Python 3.10 이상 또는 Node.js 18 이상
필수 패키지 설치:
- Python: pip install weave openai
- TypeScript: npm install weave openai
환경 변수로 설정된 OpenAI API 키

새 프로젝트에 트레이스 로깅하기

이 섹션에서는 Weave가 입력, 출력, 코드를 기록할 수 있도록 작은 애플리케이션을 계측합니다. 코드 추적을 시작하고 Weave에 트레이스를 로깅하려면 다음 단계를 따르세요.

코드에 weave 라이브러리를 임포트하세요.
코드에서 weave.init('your_wb_team/project_name')을 호출하여 추적 정보를 W&B 팀과 프로젝트로 전송하세요. 팀을 지정하지 않으면 Weave는 트레이스를 기본 팀으로 전송합니다. 지정한 프로젝트가 팀에 없으면 Weave가 해당 프로젝트를 생성합니다.
추적하려는 함수에 @weave.op() 데코레이터를 추가하세요. Weave는 지원되는 LLM에 대한 Call을 자동으로 추적하지만, 데코레이터를 사용하면 특정 함수의 입력, 출력, 코드도 추적할 수 있습니다. TypeScript에서는 weave.op(your_function) 구문으로 데코레이터를 적용합니다.

다음 예시 코드는 OpenAI에 요청을 보내고(OpenAI API 키 필요), Weave는 이 요청의 트레이싱 정보를 기록합니다. 이 요청은 OpenAI 모델에 입력 문장에서 공룡 이름을 추출하고 각 공룡의 식성(초식 또는 육식)을 파악하도록 지시합니다. 다음 예시 코드는 Weave로 첫 번째 프로젝트를 추적합니다.

Python
TypeScript

# Weave 라이브러리를 임포트합니다
import weave
from openai import OpenAI

client = OpenAI()

# Weave가 이 함수의 입력, 출력, 코드를 자동으로 추적합니다
@weave.op()
def extract_dinos(sentence: str) -> dict:
    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[
            {
                "role": "system",
                "content": """In JSON format extract a list of `dinosaurs`, with their `name`,
their `common_name`, and whether its `diet` is a herbivore or carnivore"""
            },
            {
                "role": "user",
                "content": sentence
            }
            ],
            response_format={ "type": "json_object" }
        )
    return response.choices[0].message.content

# Weave를 초기화하고 데이터를 로깅할 팀과 프로젝트를 설정합니다
weave.init('your-team/traces-quickstart')

sentence = """I watched as a Tyrannosaurus rex (T. rex) chased after a Triceratops (Trike), \
both carnivore and herbivore locked in an ancient dance. Meanwhile, a gentle giant \
Brachiosaurus (Brachi) calmly munched on treetops, blissfully unaware of the chaos below."""

result = extract_dinos(sentence)
print(result)

// Weave 라이브러리를 임포트합니다
import * as weave from 'weave';
import OpenAI from 'openai';

const openai = new OpenAI();

// Weave가 이 함수의 입력, 출력, 코드를 자동으로 추적합니다  
async function extractDinos(input: string) {
  const response = await openai.chat.completions.create({
    model: 'gpt-4o',
    messages: [
      {
        role: 'user',
        content: `In JSON format extract a list of 'dinosaurs', with their 'name', their 'common_name', and whether its 'diet' is a herbivore or carnivore: ${input}`,
      },
    ],
  });
  return response.choices[0].message.content;
}
const extractDinosOp = weave.op(extractDinos);

async function main() {

  // Weave를 초기화하고 데이터를 로깅할 팀과 프로젝트를 설정합니다
  await weave.init('your-team/traces-quickstart');

  const result = await extractDinosOp(
    'I watched as a Tyrannosaurus rex (T. rex) chased after a Triceratops (Trike), both carnivore and herbivore locked in an ancient dance. Meanwhile, a gentle giant Brachiosaurus (Brachi) calmly munched on treetops, blissfully unaware of the chaos below.'
  );
  console.log(result);
}

main();

extract_dinos 함수를 호출하면 Weave가 트레이스를 확인할 수 있는 링크를 터미널에 출력합니다. 출력 결과는 다음과 같습니다.

weave:  $ pip install weave --upgrade
weave: Logged in as Weights & Biases user: example-username.
weave: View Weave data at https://wandb.ai/your-team/traces-quickstart/weave
weave: 🍩 https://wandb.ai/your-team/traces-quickstart/r/call/019ae171-7f32-7c96-8b42-931a32f900b7
{
  "dinosaurs": [
    {
      "name": "Tyrannosaurus rex",
      "common_name": "T. rex",
      "diet": "carnivore"
    },
    {
      "name": "Triceratops",
      "common_name": "Trike",
      "diet": "herbivore"
    },
    {
      "name": "Brachiosaurus",
      "common_name": "Brachi",
      "diet": "herbivore"
    }
  ]
}

프로젝트에서 애플리케이션의 트레이스 확인하기

코드에서 트레이스가 생성되었으니 이제 Weights & Biases UI에서 살펴볼 수 있습니다. 터미널에 표시된 링크를 클릭하거나 브라우저에 붙여 넣어 Weights & Biases UI를 여세요. Weights & Biases UI의 Traces 패널에서 트레이스를 클릭하면 입력, 출력, 지연 시간, 토큰 사용량 등의 데이터를 확인할 수 있습니다.

Forge의 extract_dinos 함수 트레이스. 비용과 지연 시간이 포함된 Call 트리와 Call의 입력 및 출력이 표시됩니다.

첫 번째 Weave 트레이스를 로깅하고 확인해 보았습니다.

트레이스 자세히 알아보기

함수를 데코레이트하고 Call 정보를 조회하는 방법을 알아보세요.
플레이그라운드를 사용해 로깅된 트레이스로 다양한 모델을 테스트해 보세요.
인테그레이션 살펴보기. Weave는 OpenAI, Anthropic을 비롯한 여러 LLM 라이브러리의 Call을 자동으로 추적합니다. 사용 중인 LLM 라이브러리가 Weave 인테그레이션에 포함되어 있지 않다면 @weave.op()로 래핑하여 다른 LLM 라이브러리나 프레임워크의 Call도 추적할 수 있습니다.

다음 단계

앱 평가 시작하기를 먼저 진행한 뒤 RAG 애플리케이션 평가 방법을 알아보세요.

​학습 내용

​사전 요구 사항

​새 프로젝트에 트레이스 로깅하기

​프로젝트에서 애플리케이션의 트레이스 확인하기

​트레이스 자세히 알아보기

​다음 단계