Skip to main content
Model Distillation은 기존 AI 기능에 개선 루프를 추가합니다. 애플리케이션은 계속 요청을 처리하고, 트레이닝과 평가는 백그라운드에서 별도로 진행됩니다.

​
  1. 기존 기능 연결

애플리케이션은 익숙한 Chat Completion 인터페이스를 통해 Model Distillation을 호출합니다. 기능에 안정적인 프록시 모델 이름을 부여하면, 그 뒤의 모델이 개선되더라도 해당 이름은 변경되지 않습니다.

​
  1. 실제 예시로 학습하기

Model Distillation은 애플리케이션이 이미 생성하고 있는 입력과 성공한 응답을 수집합니다. 이 중에서 새 모델이 학습했으면 하는 동작을 잘 보여 주는 예시를 직접 선택하세요. 기존 응답이 만족스럽지 않다면 트레이닝에 앞서 더 성능이 뛰어난 모델로 개선된 트레이닝용 응답을 생성할 수 있습니다.

​
  1. 후보 모델 학습 및 비교

하나의 모델을 학습하거나 스윕으로 여러 모델을 학습하세요. 모든 후보 모델을 동일한 예시로 테스트하므로 현재 사용하는 모델의 품질을 유지하는지 확인할 수 있습니다.

​
  1. 위험한 전환 없이 배포하기

먼저 최종 선정된 모델에 소량의 트래픽을 보내거나, 평가 후 전체 배포하세요. 빠르게 롤백할 수 있도록 이전 모델을 사용 가능한 상태로 유지할 수 있습니다.

​
사용자가 제어하는 항목

  • 어떤 제품 동작이 프로젝트가 되는지;
  • 모델이 학습하는 예시와 답변;
  • 어떤 모델이 트레이닝되고 비교되는지;
  • 배포하기 전에 후보가 얼마나 좋아야 하는지;
  • 승자가 받는 트래픽 양.

전체 워크플로 따르기

프로젝트를 연결하고 실제 사용에서 배포된 모델로 가져가세요.
에이전트는 다음 공개 리소스를 통해 동일한 루프를 수행할 수 있습니다:
  1. 트래픽을 연결하려면 PUT /tasks/{alias} 및 POST /chat/completions;
  2. 트레이닝 및 검증 데이터를 고정하려면 POST /tasks/{alias}/datasets;
  3. 각 후보에 대해 POST /tasks/{alias}/finetunes;
  4. 후보를 비교하려면 POST /evals;
  5. 승자를 배포하려면 PUT /tasks/{alias}/versions/{version}/routing.
정확한 스키마는 Management OpenAPI specification 및 Inference proxy OpenAPI specification을 참조하세요.
마지막 수정일 2026년 9월 30일