> ## Documentation Index
> Fetch the complete documentation index at: https://docs.coreweave.com/llms.txt
> Use this file to discover all available pages before exploring further.
> W&B로 OpenAI 모델을 파인튜닝하면서 트레이닝 메트릭을 로깅하고, 작업을 모니터링하고, 시간 경과에 따른 모델 성능을 비교하세요.
# OpenAI 파인튜닝
export const ColabLink = ({url}) =>
Try in Colab
;
이 페이지에서는 OpenAI GPT-3.5 또는 GPT-4 모델의 파인튜닝 메트릭과 설정을 W\&B에 로깅하는 방법을 설명합니다. W\&B를 OpenAI의 파인튜닝 API와 통합하면 파인튜닝 실험, 모델, 데이터셋을 한곳에서 추적하고 결과를 동료와 공유할 수 있습니다. OpenAI 모델을 파인튜닝할 때 실험 추적을 한곳에서 관리하고 트레이닝 데이터와 결과 모델의 버전을 관리하려면 이 인테그레이션을 사용하세요.
파인튜닝할 수 있는 모델 목록은 [OpenAI 문서](https://platform.openai.com/docs/guides/fine-tuning/which-models-can-be-fine-tuned)를 참조하세요.
파인튜닝을 위해 W\&B를 OpenAI와 통합하는 방법에 대한 자세한 내용은 OpenAI 문서의 [W\&B Integration](https://developers.openai.com/cookbook/examples/third_party/gpt_finetuning_with_wandb) 섹션을 참조하세요.
OpenAI Python API 설치 또는 업데이트
파인튜닝 결과를 동기화하기 전에 호환되는 버전의 OpenAI Python 클라이언트가 설치되어 있는지 확인하세요. W\&B OpenAI 파인튜닝 인테그레이션은 OpenAI 버전 1.0 이상에서 작동합니다. [OpenAI Python API](https://pypi.org/project/openai/) 라이브러리의 최신 버전은 PyPI 문서에서 확인하세요.
OpenAI Python API를 설치하려면 다음 명령을 실행하세요.
```bash theme={"system"}
pip install openai
```
OpenAI Python API가 이미 설치되어 있다면 다음 명령으로 업데이트하세요.
```bash theme={"system"}
pip install -U openai
```
OpenAI 파인튜닝 결과 동기화하기
이 섹션에서는 OpenAI 파인튜닝 작업의 메트릭과 설정을 W\&B로 전송하여 다른 실험과 함께 검토하는 방법을 설명합니다. 이 작업에는 `wandb.integration.openai.fine_tuning` 모듈의 `WandbLogger` 클래스를 사용하세요.
```python theme={"system"}
from wandb.integration.openai.fine_tuning import WandbLogger
# 파인튜닝 로직
WandbLogger.sync(fine_tune_job_id=FINETUNE_JOB_ID)
```
파인튜닝 결과 동기화하기
스크립트에서 결과를 동기화하세요. 다음 예시에서는 가장 간단한 한 줄 호출과 함께, 동기화 동작을 제어하는 데 사용할 수 있는 전체 선택 매개변수를 보여 줍니다.
```python theme={"system"}
from wandb.integration.openai.fine_tuning import WandbLogger
# 한 줄 명령어
WandbLogger.sync()
# 선택 매개변수 전달하기
WandbLogger.sync(
fine_tune_job_id=None,
num_fine_tunes=None,
project="OpenAI-Fine-Tune",
entity=None,
overwrite=False,
model_artifact_name="model-metadata",
model_artifact_type="model",
**kwargs_wandb_init
)
```
레퍼런스
다음 표는 `WandbLogger.sync`에서 사용할 수 있는 각 인수를 설명합니다.
| 인수 | 설명 |
| - | - |
| `fine_tune_job_id` | `client.fine_tuning.jobs.create`로 파인튜닝 작업을 생성할 때 받는 OpenAI 파인튜닝 ID입니다. 이 인수가 `None`(기본값)이면 W\&B는 아직 동기화되지 않은 모든 OpenAI 파인튜닝 작업을 동기화합니다. |
| `openai_client` | 초기화된 OpenAI 클라이언트를 `sync`에 전달합니다. 클라이언트를 제공하지 않으면 로거가 클라이언트를 직접 초기화합니다. 기본값은 `None`입니다. |
| `num_fine_tunes` | ID를 제공하지 않으면 W\&B는 동기화되지 않은 모든 파인튜닝을 로깅합니다. 이 인수로 동기화할 최근 파인튜닝의 개수를 지정할 수 있습니다. `num_fine_tunes`가 5이면 W\&B는 가장 최근 파인튜닝 5개를 선택합니다. |
| `project` | W\&B가 파인튜닝 메트릭, 모델, 데이터 등을 로깅할 프로젝트 이름입니다. 기본 프로젝트 이름은 `"OpenAI-Fine-Tune"`입니다. |
| `entity` | run을 전송할 W\&B 사용자 이름 또는 팀 이름입니다. 기본적으로 W\&B는 기본 entity를 사용하며, 이는 일반적으로 사용자 이름입니다. |
| `overwrite` | 로깅을 강제로 수행하고 동일한 파인튜닝 작업의 기존 `wandb` run을 덮어씁니다. 기본값은 `False`입니다. |
| `wait_for_job_success` | OpenAI 파인튜닝 작업은 시작된 후 완료되기까지 시간이 걸립니다. 이 설정은 파인튜닝 작업이 종료되는 즉시 W\&B가 메트릭을 로깅할 수 있도록 60초마다 파인튜닝 작업 상태가 `succeeded`로 바뀌었는지 확인합니다. 파인튜닝 작업이 성공하면 W\&B가 메트릭을 자동으로 동기화합니다. 기본값은 `True`입니다. |
| `model_artifact_name` | 로깅된 모델 아티팩트의 이름입니다. 기본값은 `"model-metadata"`입니다. |
| `model_artifact_type` | 로깅된 모델 아티팩트의 유형입니다. 기본값은 `"model"`입니다. |
| `**kwargs_wandb_init` | [`wandb.init()`](/ko/products/wandb/ref/python/functions/init)에 직접 전달되는 추가 인수입니다. |
데이터셋 버전 관리 및 시각화
파인튜닝 작업을 동기화하면 W\&B가 트레이닝 데이터와 검증 데이터도 함께 캡처하므로, 해당 데이터의 버전을 관리하고 대화형으로 탐색할 수 있습니다. 다음 하위 섹션에서는 W\&B가 추적하는 항목과 이를 확인하는 방법을 설명합니다.
버전 관리
파인튜닝을 위해 OpenAI에 업로드한 트레이닝 데이터와 검증 데이터는 W\&B Artifacts로 자동 로깅되므로 버전을 쉽게 관리할 수 있습니다. 다음 이미지는 Artifacts에 표시된 트레이닝 파일의 뷰입니다. 이 파일을 로깅한 W\&B run, 로깅 시점, 데이터셋 버전, 메타데이터, 그리고 트레이닝 데이터에서 트레이닝된 모델까지 이어지는 DAG 리니지를 확인할 수 있습니다.
시각화
W\&B는 데이터셋을 W\&B Tables로 시각화하므로, 데이터셋을 탐색하고 검색하며 대화형으로 살펴볼 수 있습니다. 다음 이미지는 W\&B Tables로 시각화한 트레이닝 샘플을 보여줍니다.
파인튜닝된 모델과 모델 버전 관리
OpenAI는 파인튜닝된 모델의 기본 가중치를 공개하지 않으므로, W\&B는 모델의 메타데이터를 캡처하는 방식으로 모델을 추적합니다. OpenAI는 파인튜닝된 모델의 ID를 제공합니다. 모델 가중치에는 액세스할 수 없기 때문에, `WandbLogger`는 `fine_tuned_model` ID와 함께 모델의 모든 세부 정보(하이퍼파라미터, 데이터 파일 ID 등)를 담은 `model_metadata.json` 파일을 생성하고 이를 W\&B 아티팩트로 로깅합니다.
이 모델(메타데이터) 아티팩트를 [레지스트리](/ko/products/registry)의 모델에 연결할 수 있습니다.
자주 묻는 질문
다음 섹션에서는 OpenAI에서 동기화한 파인튜닝 run의 공유, 정리, 복구와 관련해 자주 묻는 질문에 답합니다.
팀과 파인튜닝 결과 공유하기
다음 코드로 파인튜닝 작업을 팀 계정에 로깅하세요.
```python theme={"system"}
WandbLogger.sync(entity="")
```
run 정리하기
W\&B는 run을 자동으로 정리합니다. 작업 유형, 기본 모델, 학습률, 트레이닝 파일 이름 등 모든 하이퍼파라미터를 포함한 설정 매개변수를 기준으로 run을 필터링하고 정렬할 수 있습니다.
run의 이름을 변경하거나, 메모를 추가하거나, 태그를 만들어 run을 그룹화할 수도 있습니다.
원하는 대로 구성했다면 워크스페이스를 저장한 다음, 이를 활용해 리포트를 만드세요. 리포트에는 run과 저장된 아티팩트(트레이닝 및 검증 파일)의 데이터를 임포트할 수 있습니다.
파인튜닝된 모델에 액세스하기
W\&B는 파인튜닝된 모델 ID를 아티팩트(`model_metadata.json`)와 설정(config)에 로깅합니다.
```python theme={"system"}
import wandb
with wandb.init(project="OpenAI-Fine-Tune", entity="") as run:
ft_artifact = run.use_artifact("//model_metadata:")
artifact_dir = ft_artifact.download()
```
`` 자리 표시자에는 다음 중 하나를 사용할 수 있습니다.
* `v2`와 같은 버전 번호
* `ft-xxxxxxxxx`와 같은 파인튜닝 ID
* `latest`처럼 자동으로 추가된 별칭 또는 수동으로 추가한 별칭
그런 다음 다운로드한 `model_metadata.json` 파일을 읽어 `fine_tuned_model` ID를 확인할 수 있습니다.
동기화되지 않은 파인튜닝 복구하기
파인튜닝이 W\&B에 제대로 로깅되지 않았다면 `overwrite=True`를 지정하고 파인튜닝 작업 ID를 전달하세요.
```python theme={"system"}
WandbLogger.sync(
fine_tune_job_id="",
overwrite=True,
)
```
W\&B로 데이터셋과 모델 추적하기
W\&B는 트레이닝 데이터와 검증 데이터를 아티팩트로 자동 로깅합니다. 파인튜닝된 모델의 ID를 비롯한 메타데이터도 아티팩트로 로깅합니다.
`wandb.Artifact`, `wandb.Run.log` 등의 저수준 `wandb` API로 파이프라인을 직접 제어할 수도 있습니다. 이렇게 하면 데이터와 모델을 전체적으로 추적할 수 있습니다.
리소스
더 자세한 배경 지식과 엔드투엔드 예시는 다음 리소스를 참조하세요.
* 자세한 가이드와 팁은 [OpenAI Fine-tuning Documentation](https://platform.openai.com/docs/guides/fine-tuning/)을 참조하세요.
* [Demo Colab](https://wandb.me/openai-colab)
* [How to Fine-Tune Your OpenAI GPT-3.5 and GPT-4 Models with W\&B](https://wandb.me/openai-report) 리포트
## Related topics
- [예시 코드 및 노트북](/ko/products/wandb/examples.md)
