Together AI - CoreWeave Docs

Together AI는 생성형 AI 모델을 구축하고 파인튜닝하기 위한 플랫폼입니다. 오픈 소스 LLM에 중점을 두며, 고객이 자체 모델을 파인튜닝하고 호스팅할 수 있도록 지원합니다. 이 가이드에서는 Together의 OpenAI SDK 호환 기능을 사용해 Weave에서 Together AI 모델 Call을 트레이스하고 평가하는 방법을 설명합니다. 오픈 소스 LLM의 입력, 출력, 성능을 Weave에서 추적 중인 다른 작업과 함께 모니터링할 수 있습니다.

together Python 패키지에 대한 Weave 전체 지원은 현재 개발 중입니다.

그전까지는 Together가 지원하는 OpenAI SDK 호환 기능을 활용할 수 있으며, Weave는 이를 자동으로 감지해 통합합니다. 표준 OpenAI 클라이언트로 Together AI 모델을 호출하면 별도의 설정 없이 Weave 트레이싱이 자동으로 적용됩니다. Together API로 전환하려면 api_key를 Together API 키로, base_url을 https://api.together.xyz/v1로, model을 채팅 모델 중 하나로 설정하세요. 다음 예시에서는 Weave를 초기화한 후 Together에서 호스팅하는 모델에 Chat Completion 호출을 보냅니다. 코드를 실행하면 해당 Call이 Weave 프로젝트에 트레이스로 표시됩니다.

import os
import openai
import weave

weave.init('together-weave')

system_content = "You are a travel agent. Be descriptive and helpful."
user_content = "Tell me about San Francisco"

client = openai.OpenAI(
    api_key=os.environ.get("TOGETHER_API_KEY"),
    base_url="https://api.together.xyz/v1",
)
chat_completion = client.chat.completions.create(
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    messages=[
        {"role": "system", "content": system_content},
        {"role": "user", "content": user_content},
    ],
    temperature=0.7,
    max_tokens=1024,
)
response = chat_completion.choices[0].message.content
print("Together response:\n", response)

이 예제로 간단히 시작할 수 있습니다. 더 복잡한 사용 사례에 맞게 Weave를 직접 작성한 함수와 통합하는 방법은 OpenAI 가이드를 참조하세요.

마지막 수정일 2026년 9월 30일