OpenAI 파인튜닝 - CoreWeave Docs

이 페이지에서는 OpenAI GPT-3.5 또는 GPT-4 모델의 파인튜닝 메트릭과 설정을 W&B에 로깅하는 방법을 설명합니다. W&B를 OpenAI의 파인튜닝 API와 통합하면 파인튜닝 실험, 모델, 데이터셋을 한곳에서 추적하고 결과를 동료와 공유할 수 있습니다. OpenAI 모델을 파인튜닝할 때 실험 추적을 한곳에서 관리하고 트레이닝 데이터와 결과 모델의 버전을 관리하려면 이 인테그레이션을 사용하세요.

파인튜닝할 수 있는 모델 목록은 OpenAI 문서를 참조하세요.

파인튜닝을 위해 W&B를 OpenAI와 통합하는 방법에 대한 자세한 내용은 OpenAI 문서의 W&B Integration 섹션을 참조하세요.

OpenAI Python API 설치 또는 업데이트

파인튜닝 결과를 동기화하기 전에 호환되는 버전의 OpenAI Python 클라이언트가 설치되어 있는지 확인하세요. W&B OpenAI 파인튜닝 인테그레이션은 OpenAI 버전 1.0 이상에서 작동합니다. OpenAI Python API 라이브러리의 최신 버전은 PyPI 문서에서 확인하세요. OpenAI Python API를 설치하려면 다음 명령을 실행하세요.

pip install openai

OpenAI Python API가 이미 설치되어 있다면 다음 명령으로 업데이트하세요.

pip install -U openai

OpenAI 파인튜닝 결과 동기화하기

이 섹션에서는 OpenAI 파인튜닝 작업의 메트릭과 설정을 W&B로 전송하여 다른 실험과 함께 검토하는 방법을 설명합니다. 이 작업에는 wandb.integration.openai.fine_tuning 모듈의 WandbLogger 클래스를 사용하세요.

from wandb.integration.openai.fine_tuning import WandbLogger

# 파인튜닝 로직

WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)

파인튜닝 결과 동기화하기

스크립트에서 결과를 동기화하세요. 다음 예시에서는 가장 간단한 한 줄 호출과 함께, 동기화 동작을 제어하는 데 사용할 수 있는 전체 선택 매개변수를 보여 줍니다.

from wandb.integration.openai.fine_tuning import WandbLogger

# 한 줄 명령어
WandbLogger.sync()

# 선택 매개변수 전달하기
WandbLogger.sync(
    fine_tune_job_id=None,
    num_fine_tunes=None,
    project="OpenAI-Fine-Tune",
    entity=None,
    overwrite=False,
    model_artifact_name="model-metadata",
    model_artifact_type="model",
    **kwargs_wandb_init
)

레퍼런스

다음 표는 WandbLogger.sync에서 사용할 수 있는 각 인수를 설명합니다.

인수	설명
`fine_tune_job_id`	`client.fine_tuning.jobs.create`로 파인튜닝 작업을 생성할 때 받는 OpenAI 파인튜닝 ID입니다. 이 인수가 `None`(기본값)이면 W&B는 아직 동기화되지 않은 모든 OpenAI 파인튜닝 작업을 동기화합니다.
`openai_client`	초기화된 OpenAI 클라이언트를 `sync`에 전달합니다. 클라이언트를 제공하지 않으면 로거가 클라이언트를 직접 초기화합니다. 기본값은 `None`입니다.
`num_fine_tunes`	ID를 제공하지 않으면 W&B는 동기화되지 않은 모든 파인튜닝을 로깅합니다. 이 인수로 동기화할 최근 파인튜닝의 개수를 지정할 수 있습니다. `num_fine_tunes`가 5이면 W&B는 가장 최근 파인튜닝 5개를 선택합니다.
`project`	W&B가 파인튜닝 메트릭, 모델, 데이터 등을 로깅할 프로젝트 이름입니다. 기본 프로젝트 이름은 `"OpenAI-Fine-Tune"`입니다.
`entity`	run을 전송할 W&B 사용자 이름 또는 팀 이름입니다. 기본적으로 W&B는 기본 entity를 사용하며, 이는 일반적으로 사용자 이름입니다.
`overwrite`	로깅을 강제로 수행하고 동일한 파인튜닝 작업의 기존 `wandb` run을 덮어씁니다. 기본값은 `False`입니다.
`wait_for_job_success`	OpenAI 파인튜닝 작업은 시작된 후 완료되기까지 시간이 걸립니다. 이 설정은 파인튜닝 작업이 종료되는 즉시 W&B가 메트릭을 로깅할 수 있도록 60초마다 파인튜닝 작업 상태가 `succeeded`로 바뀌었는지 확인합니다. 파인튜닝 작업이 성공하면 W&B가 메트릭을 자동으로 동기화합니다. 기본값은 `True`입니다.
`model_artifact_name`	로깅된 모델 아티팩트의 이름입니다. 기본값은 `"model-metadata"`입니다.
`model_artifact_type`	로깅된 모델 아티팩트의 유형입니다. 기본값은 `"model"`입니다.
`**kwargs_wandb_init`	`wandb.init()`에 직접 전달되는 추가 인수입니다.

데이터셋 버전 관리 및 시각화

파인튜닝 작업을 동기화하면 W&B가 트레이닝 데이터와 검증 데이터도 함께 캡처하므로, 해당 데이터의 버전을 관리하고 대화형으로 탐색할 수 있습니다. 다음 하위 섹션에서는 W&B가 추적하는 항목과 이를 확인하는 방법을 설명합니다.

버전 관리

파인튜닝을 위해 OpenAI에 업로드한 트레이닝 데이터와 검증 데이터는 W&B Artifacts로 자동 로깅되므로 버전을 쉽게 관리할 수 있습니다. 다음 이미지는 Artifacts에 표시된 트레이닝 파일의 뷰입니다. 이 파일을 로깅한 W&B run, 로깅 시점, 데이터셋 버전, 메타데이터, 그리고 트레이닝 데이터에서 트레이닝된 모델까지 이어지는 DAG 리니지를 확인할 수 있습니다.

시각화

W&B는 데이터셋을 W&B Tables로 시각화하므로, 데이터셋을 탐색하고 검색하며 대화형으로 살펴볼 수 있습니다. 다음 이미지는 W&B Tables로 시각화한 트레이닝 샘플을 보여줍니다.

파인튜닝된 모델과 모델 버전 관리

OpenAI는 파인튜닝된 모델의 기본 가중치를 공개하지 않으므로, W&B는 모델의 메타데이터를 캡처하는 방식으로 모델을 추적합니다. OpenAI는 파인튜닝된 모델의 ID를 제공합니다. 모델 가중치에는 액세스할 수 없기 때문에, WandbLogger는 fine_tuned_model ID와 함께 모델의 모든 세부 정보(하이퍼파라미터, 데이터 파일 ID 등)를 담은 model_metadata.json 파일을 생성하고 이를 W&B 아티팩트로 로깅합니다. 이 모델(메타데이터) 아티팩트를 레지스트리의 모델에 연결할 수 있습니다.

자주 묻는 질문

다음 섹션에서는 OpenAI에서 동기화한 파인튜닝 run의 공유, 정리, 복구와 관련해 자주 묻는 질문에 답합니다. 다음 코드로 파인튜닝 작업을 팀 계정에 로깅하세요.

WandbLogger.sync(entity="<your-team-name>")

run 정리하기

W&B는 run을 자동으로 정리합니다. 작업 유형, 기본 모델, 학습률, 트레이닝 파일 이름 등 모든 하이퍼파라미터를 포함한 설정 매개변수를 기준으로 run을 필터링하고 정렬할 수 있습니다. run의 이름을 변경하거나, 메모를 추가하거나, 태그를 만들어 run을 그룹화할 수도 있습니다. 원하는 대로 구성했다면 워크스페이스를 저장한 다음, 이를 활용해 리포트를 만드세요. 리포트에는 run과 저장된 아티팩트(트레이닝 및 검증 파일)의 데이터를 임포트할 수 있습니다.

파인튜닝된 모델에 액세스하기

W&B는 파인튜닝된 모델 ID를 아티팩트(model_metadata.json)와 설정(config)에 로깅합니다.

import wandb
    
with wandb.init(project="OpenAI-Fine-Tune", entity="<your-team-name>") as run:
    ft_artifact = run.use_artifact("<entity>/<project>/model_metadata:<version>")
    artifact_dir = ft_artifact.download()

<version> 자리 표시자에는 다음 중 하나를 사용할 수 있습니다.

v2와 같은 버전 번호
ft-xxxxxxxxx와 같은 파인튜닝 ID
latest처럼 자동으로 추가된 별칭 또는 수동으로 추가한 별칭

그런 다음 다운로드한 model_metadata.json 파일을 읽어 fine_tuned_model ID를 확인할 수 있습니다.

동기화되지 않은 파인튜닝 복구하기

파인튜닝이 W&B에 제대로 로깅되지 않았다면 overwrite=True를 지정하고 파인튜닝 작업 ID를 전달하세요.

WandbLogger.sync(
    fine_tune_job_id="<fine-tune-job-id>",
    overwrite=True,
)

W&B로 데이터셋과 모델 추적하기

W&B는 트레이닝 데이터와 검증 데이터를 아티팩트로 자동 로깅합니다. 파인튜닝된 모델의 ID를 비롯한 메타데이터도 아티팩트로 로깅합니다. wandb.Artifact, wandb.Run.log 등의 저수준 wandb API로 파이프라인을 직접 제어할 수도 있습니다. 이렇게 하면 데이터와 모델을 전체적으로 추적할 수 있습니다.

리소스

더 자세한 배경 지식과 엔드투엔드 예시는 다음 리소스를 참조하세요.

자세한 가이드와 팁은 OpenAI Fine-tuning Documentation을 참조하세요.
Demo Colab
How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W&B 리포트

​OpenAI Python API 설치 또는 업데이트

​OpenAI 파인튜닝 결과 동기화하기

​파인튜닝 결과 동기화하기

​레퍼런스

​데이터셋 버전 관리 및 시각화

​버전 관리

​시각화

​파인튜닝된 모델과 모델 버전 관리

​자주 묻는 질문

​팀과 파인튜닝 결과 공유하기

​run 정리하기

​파인튜닝된 모델에 액세스하기

​동기화되지 않은 파인튜닝 복구하기

​W&B로 데이터셋과 모델 추적하기

​리소스

OpenAI Python API 설치 또는 업데이트

OpenAI 파인튜닝 결과 동기화하기

파인튜닝 결과 동기화하기

레퍼런스

데이터셋 버전 관리 및 시각화

버전 관리

시각화

파인튜닝된 모델과 모델 버전 관리

자주 묻는 질문

팀과 파인튜닝 결과 공유하기

run 정리하기

파인튜닝된 모델에 액세스하기

동기화되지 않은 파인튜닝 복구하기

W&B로 데이터셋과 모델 추적하기

리소스