> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
# Groq
> Weave로 Groq LPU 추론을 추적하고 모니터링하며, LLM 애플리케이션의 모델 Call, 성능 메트릭, 함수 체인을 캡처합니다.
별도의 설정 없이 Weave에서 Groq 모델로 실험하고 싶으신가요? [LLM 플레이그라운드](/ko/products/wandb/weave/guides/tools/playground)를 사용해 보세요.
[Groq](https://groq.com/)는 빠른 AI 추론을 제공하는 AI 인프라 기업입니다. Groq의 LPU Inference Engine은 연산 속도, 품질, 에너지 효율을 위해 설계된 하드웨어 및 소프트웨어 플랫폼입니다. Weave는 Groq Chat Completion Call을 자동으로 추적하고 로깅합니다.
이 페이지에서는 Weave를 사용하여 Groq Chat Completion Call을 트레이싱하고, 직접 작성한 함수를 Weave Op으로 래핑하며, `Model` 객체를 사용하여 실험을 구성하는 방법을 설명합니다.
트레이싱
개발 중과 프로덕션 환경 모두에서 언어 모델 애플리케이션의 트레이스를 중앙 위치에 저장하는 것이 중요합니다. 이러한 트레이스는 애플리케이션을 디버깅하는 데 도움이 되며, 애플리케이션을 개선하기 위한 데이터셋으로도 활용할 수 있습니다.
Weave는 [Groq](https://groq.com/)의 트레이스를 자동으로 캡처합니다. 추적을 시작하려면 `weave.init(project_name="")`을 호출하고 평소처럼 라이브러리를 사용하세요. `<>`로 둘러싸인 값은 자신의 값으로 바꾸세요.
```python lines theme={"system"}
import os
import weave
from groq import Groq
weave.init(project_name="groq-project")
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": "Explain the importance of fast language models",
}
],
model="llama3-8b-8192",
)
```
| 
|
| - |
| 이제 Weave는 Groq 라이브러리를 통해 이루어지는 모든 LLM Call을 추적하고 로깅합니다. Weave 웹 인터페이스에서 트레이스를 확인할 수 있습니다. |
Track your own Op
함수를 `@weave.op`으로 감싸 입력, 출력 및 앱 로직을 캡처하세요. 이를 통해 앱에서 데이터가 어떻게 흐르는지 디버그할 수 있습니다. Op를 깊게 중첩하고 추적하려는 함수 트리를 구축할 수 있습니다. 또한 실험하면서 코드를 자동으로 버전 관리하여 git에 커밋되지 않은 임시 세부 정보를 캡처합니다.
[`@weave.op`](/ko/products/wandb/weave/guides/tracking/ops)으로 데코레이트된 함수를 만드세요.
다음 예시에서 `recommend_places_to_visit` 함수는 `@weave.op`으로 감싸져 도시에서 방문할 장소를 추천합니다.
```python lines theme={"system"}
import os
import weave
from groq import Groq
weave.init(project_name="groq-test")
client = Groq(
api_key=os.environ.get("GROQ_API_KEY"),
)
@weave.op()
def recommend_places_to_visit(city: str, model: str="llama3-8b-8192"):
chat_completion = client.chat.completions.create(
messages=[
{
"role": "system",
"content": "You are a helpful assistant meant to suggest places to visit in a city",
},
{
"role": "user",
"content": city,
}
],
model="llama3-8b-8192",
)
return chat_completion.choices[0].message.content
recommend_places_to_visit("New York")
recommend_places_to_visit("Paris")
recommend_places_to_visit("Kolkata")
```
| 
|
| - |
| `recommend_places_to_visit` 함수에 `@weave.op` 데코레이터를 적용하여 입력, 출력 및 함수 내부에서 이루어지는 모든 LM Call을 트레이싱하세요. |
더 쉽게 실험하기 위한 `Model` 만들기
변경되는 요소가 많으면 실험을 체계적으로 관리하기 어렵습니다. [`Model`](/ko/products/wandb/weave/guides/core-types/models) 클래스를 사용하면 system 프롬프트나 사용 중인 모델 등 앱의 실험 세부 정보를 캡처하고 정리할 수 있습니다. 이를 통해 앱의 여러 개선 버전을 정리하고 비교할 수 있습니다.
[`Model`](/ko/products/wandb/weave/guides/core-types/models)은 코드 버전 관리와 입력 및 출력 캡처 외에도 애플리케이션의 동작을 제어하는 구조화된 매개변수를 캡처하여 가장 효과적인 매개변수를 찾는 데 도움을 줍니다. Weave 모델은 `serve` 및 [`Evaluation`](/ko/products/wandb/weave/guides/core-types/evaluations)과 함께 사용할 수도 있습니다.
다음 예시에서는 `GroqCityVisitRecommender`로 실험할 수 있습니다. 이러한 요소 중 하나를 변경할 때마다 `GroqCityVisitRecommender`의 새로운 *버전*이 생성됩니다.
```python lines theme={"system"}
import os
from groq import Groq
import weave
class GroqCityVisitRecommender(weave.Model):
model: str
groq_client: Groq
@weave.op()
def predict(self, city: str) -> str:
system_message = {
"role": "system",
"content": """
You are a helpful assistant meant to suggest places to visit in a city
""",
}
user_message = {"role": "user", "content": city}
chat_completion = self.groq_client.chat.completions.create(
messages=[system_message, user_message],
model=self.model,
)
return chat_completion.choices[0].message.content
weave.init(project_name="groq-test")
city_recommender = GroqCityVisitRecommender(
model="llama3-8b-8192", groq_client=Groq(api_key=os.environ.get("GROQ_API_KEY"))
)
print(city_recommender.predict("New York"))
print(city_recommender.predict("San Francisco"))
print(city_recommender.predict("Los Angeles"))
```
| 
|
| - |
| [`Model`](/ko/products/wandb/weave/guides/core-types/models)을 사용하여 Call을 트레이싱하고 버전을 관리하세요. |
Weave 모델 서빙
버전이 지정된 `Model`이 있으면 테스트나 다운스트림 애플리케이션을 위한 서비스로 배포할 수 있습니다. `weave.Model` 객체의 Weave 참조가 있으면 FastAPI 서버를 시작하고 해당 모델을 [서빙](/ko/products/wandb/weave/guides/tools/serve)할 수 있습니다.
| [
](https://forge.coreweave.com/wandb/geekyrakshit/groq-test/weave/objects/GroqCityVisitRecommender/versions/6O1xPTJ9yFx8uuCjJAlI7KgcVYxXKn7JxfmVD9AQT5Q) |
| - |
| 모델로 이동하여 UI에서 복사하면 모든 `weave.Model`의 Weave 참조를 확인할 수 있습니다. |
터미널에서 다음 명령어로 모델을 서빙하세요:
```shell theme={"system"}
weave serve weave://your_entity/project-name/YourModel:
```
## Related topics
- [플레이그라운드에서 프롬프트 실험하기](/ko/products/wandb/weave/guides/tools/playground.md)