파인튜닝 - CoreWeave Docs

파인튜닝은 W&B Serverless Training으로 특정 작업에 특화된 모델을 생성하고, 그 결과로 생성된 호스팅 아티팩트를 UI에 기록합니다.

첫 모델 트레이닝하기

UI에서 데이터셋, 기본 모델, 트레이닝 설정을 선택하세요.

지원되는 기본 모델

사용 가능한 모델과 모델 선택 가이드는 지원되는 트레이닝 모델을 참조하세요. 더 이상 새 트레이닝 run에 사용할 수 없는 모델이라도 기존 파인튜닝 모델의 기본 모델로는 UI에 표시될 수 있습니다.

파인튜닝 모델 만들기

다음 항목을 선택하세요.

트레이닝 행이 포함된 준비 완료 상태의 데이터셋
원본 출력 또는 완료된 재레이블링 run
기본 모델
파인튜닝 모델 이름(선택)
트레이닝 매개변수(선택)

이름은 소문자와 하이픈으로 이루어진 식별자로 정규화됩니다. 이름을 생략하면 UI에서 읽기 쉬운 이름을 자동으로 생성합니다.

트레이닝 매개변수

다음 항목을 직접 제어해야 할 때만 고급 설정을 여세요.

필드	의미
Maximum examples	트레이닝 행 수에 적용되는 결정적 한도입니다. 검증 데이터에는 한도가 적용되지 않습니다.
Batch size	`auto`(2로 결정됨) 또는 1~32 사이의 정수입니다. UI에서는 대부분의 모델에 Auto, 1, 2, 4를 제공하며, Nemotron 모델에는 최대 32까지 제공합니다.
Epochs	트레이닝 세트 전체를 한 번 완전히 순회하는 횟수입니다. 기본값은 1입니다.
Peak learning rate	기본 스케줄을 구성하는 데 사용되는 양의 스칼라 값입니다.
Learning-rate schedule	모든 옵티마이저 step에 대해 명시적으로 지정하는 0 이상의 값입니다.
Assistant turns	모든 assistant 턴으로 트레이닝할지, 마지막 턴으로만 트레이닝할지 선택합니다.
Experimental configuration	아직 정식 필드로 제공되지 않는 Serverless Training 옵션입니다.

최대 학습률을 스칼라 값으로 지정하면 Model Distillation은 ART SFT 헬퍼와 동일한 스케줄, 즉 10% 선형 워밍업 후 0까지 선형 감소하는 스케줄을 생성합니다. 전체 목록을 제공하면 해당 스케줄이 그대로 적용됩니다.

상태 및 아티팩트

파인튜닝 모델은 Queued, Training, Deployed 또는 Failed 상태를 거칩니다. 트레이닝 진행률은 0%에서 100%까지 표시됩니다. 배포된 모델에는 정확한 W&B 아티팩트 레퍼런스가 포함되며, 평가와 라우팅에 사용할 수 있도록 wandb-inference에서 바로 선택할 수 있습니다. 실패한 파인튜닝 모델의 상태 옆에는 실패가 발생한 지점에 따라 Retry 또는 Create new model 중 하나의 액션이 표시됩니다. 준비 단계, 트레이닝 작업 모니터링 단계, 결과 기록 단계 등 Model Distillation 파이프라인 자체에서 실패가 발생한 경우 Retry를 선택하세요. 재시도 동작은 실패 전까지 파인튜닝 모델이 어디까지 진행되었는지에 따라 달라집니다.

트레이닝 모델이 아직 생성되지 않았다면 재시도 시 준비 단계부터 다시 시작합니다.
확인된 트레이닝 작업이 있다면 재시도 시 새 자격 증명으로 작업을 재개하며, 완료된 에포크는 유지하고 남은 에포크만 트레이닝합니다.
트레이닝 모델은 있지만 확인된 제출 내역을 복구할 수 없다면 재시도 시 409 Conflict가 반환됩니다. 이 경우 새 파인튜닝 모델을 생성하세요.

트레이닝 서비스 자체에서 실패를 보고한 경우에는 작업을 재개할 수 없으므로 UI에 Create new model이 대신 표시됩니다. 이 액션을 선택하면 실패한 파인튜닝 모델의 데이터셋, 출력 소스, 기본 모델, 트레이닝 설정과 함께 실패 사유가 미리 채워진 파인튜닝 모델 대화상자가 열립니다. 다시 트레이닝하기 전에 설정을 조정할 수 있습니다. API에서는 트레이닝 서비스 실패 시 파인튜닝 모델의 training_failure_type이 RemoteTrainingFailed로 설정되며, 재시도하면 유형이 remote_training_failed인 409 Conflict가 반환됩니다. 다음과 같은 경우에도 재시도 시 409 Conflict가 반환됩니다.

파인튜닝 모델이 실패 상태가 아닌 경우
준비 단계부터 다시 시작하는 재시도에서 파인튜닝 모델을 생성한 후 데이터셋이 변경된 것으로 감지된 경우
트레이닝 모델은 있지만 확인된 제출 내역을 복구할 수 없는 경우

파인튜닝 모델 삭제

파인튜닝 모델을 삭제하면 트레이닝 모델, 해당 W&B 아티팩트, 생성된 출력, UI 레코드가 모두 제거됩니다. 여러 파인튜닝 모델이 공유하는 트레이닝 모델은 이를 소유한 마지막 파인튜닝 모델이 삭제될 때 함께 제거됩니다. Model Distillation은 평가 비교 세트에서 해당 파인튜닝 모델을 제외하고, 이 모델을 정답(ground truth)으로 사용하는 평가를 삭제합니다. 해당 파인튜닝 모델이 기본(primary) 참가자인 head-to-head 평가의 경우, Model Distillation은 남은 참가자 중 가장 오래된 참가자를 기본 참가자로 승격하고 평가를 stale로 표시합니다. 진행 중인 평가가 있으면 삭제할 수 없습니다. UI에서 파인튜닝 모델을 삭제하려면 다음을 수행하세요.

파인튜닝 모델 페이지를 엽니다.
Danger Zone에서 Delete Fine Tune을 선택합니다.
대화 상자에서 영향을 받는 평가를 검토한 후 모델 이름을 입력하여 확인합니다.
Delete를 선택합니다.

삭제는 백그라운드에서 진행됩니다. 실제 데이터 삭제가 시작되기 전에 실패하면 모델을 다시 사용할 수 있습니다. 삭제가 시작된 후에 실패하면 재시도가 성공할 때까지 모델이 잠긴 상태로 유지됩니다. 재시도하려면 삭제를 다시 확인하세요. 재시도는 최초 요청에 기록된 범위 내에서만 수행됩니다.

API: 파인튜닝 모델 삭제 (DELETE /tasks/{alias}/finetunes/{finetuneId})

삭제는 요청 한 번으로 이루어지며, 영향을 받는 평가와 차단 요인은 서버가 직접 확인합니다.

curl --request DELETE \
  --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier/finetunes/$FINETUNE_ID" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team"

요청이 성공하면 202 Accepted와 함께 삭제 오퍼레이션 및 해당 상태가 반환됩니다. 오퍼레이션이 큐에 있거나 실행 중이거나 완료된 상태에서 같은 요청을 다시 보내면 동일한 오퍼레이션이 반환됩니다. 또한 요청을 다시 보내면 최초 요청에 기록된 범위 내에서 실패한 정리 작업을 재시도합니다. 파인튜닝 모델이 이미 삭제되었고 오퍼레이션도 없으면 204 No Content가 반환되며, 해당 파인튜닝 모델에 GET 요청을 보내면 404 Not Found가 반환됩니다.파인튜닝 모델을 삭제하기 전에 영향을 받는 평가와 차단 요인을 미리 확인하려면 GET /tasks/{alias}/finetunes/{finetuneId}/deletion-plan을 호출하세요. 이 미리보기는 참고용이며, 진행 중인 삭제의 상태도 함께 보여 줍니다. 자세한 내용은 파인튜닝 모델 삭제 및 파인튜닝 모델 삭제 미리보기를 참조하세요.

API: 트레이닝 작업 및 아티팩트 목록 조회 (GET /tasks/{alias}/finetunes)

진행 상황, 최종 상태, 평가 및 라우팅에 사용되는 아티팩트 레퍼런스를 확인하려면 다음 요청을 사용하세요.

curl --url "https://distillation.training.wandb.ai/v1/tasks/ticket-classifier/finetunes" \
  --header "Authorization: Bearer $WANDB_API_KEY" \
  --header "Wandb-Entity: your-team"

작업을 시작하려면 파인튜닝 퀵스타트의 요청을 사용하세요. 이 오퍼레이션에 대한 자세한 내용은 파인튜닝 모델 목록 조회를 참조하세요.

첫 모델 트레이닝하기

​지원되는 기본 모델

​파인튜닝 모델 만들기

​트레이닝 매개변수

​상태 및 아티팩트

​파인튜닝 모델 삭제

지원되는 기본 모델

파인튜닝 모델 만들기

트레이닝 매개변수

상태 및 아티팩트

파인튜닝 모델 삭제