평가 정리 시간이 오래 걸리는 문제

이 페이지에서는 대규모 데이터셋으로 W&B Weave 평가를 실행할 때 오래 걸리는 정리 시간을 줄이기 위해 함께 적용할 수 있는 두 가지 방법을 설명합니다. 평가 코드 실행이 끝난 뒤 프로그램이 종료되기까지 오랫동안 지연되는 현상을 겪은 사용자를 대상으로 합니다. 다음 섹션에서는 대기 중인 백그라운드 작업을 플러시하는 방법과 클라이언트 병렬 처리 수준을 높이는 방법을 설명합니다.

대기 중인 백그라운드 작업 플러시

플러시하면 코드가 끝난 뒤 대기 중인 백그라운드 작업을 기다리는 대신, 해당 작업을 메인 스레드와 병렬로 강제 완료합니다. 대규모 데이터셋으로 평가를 실행하면 데이터셋이 백그라운드 스레드에서 업로드되는 동안 프로그램 실행이 완료되기까지 오래 지연될 수 있습니다. 이는 백그라운드 정리 작업이 끝나기 전에 메인 스레드 실행이 먼저 끝나기 때문입니다. client.flush()를 호출하면 모든 백그라운드 작업이 메인 스레드에서 강제로 처리되므로, 메인 스레드 실행 중에 병렬 처리가 이루어집니다. 따라서 데이터가 서버에 업로드되기 전에 사용자 코드가 완료되는 경우 성능이 향상될 수 있습니다. 다음 예시는 평가 후 대기 중인 백그라운드 작업을 플러시합니다.

client = weave.init("fast-upload")

# ... 평가 설정
result = evaluation.Evaluate(dataset_id="my_dataset_id")

client.flush()

클라이언트 병렬 처리 수준 높이기

클라이언트 병렬 처리 수준을 높이면 Weave가 데이터셋 업로드와 같은 백그라운드 작업에 더 많은 스레드를 사용할 수 있으므로, 플러시와 병행할 때 정리 시간을 더욱 단축할 수 있습니다. Weave는 환경에 따라 클라이언트 병렬 처리 수준을 자동으로 확인하지만, 다음 환경 변수를 사용하여 직접 설정할 수도 있습니다.

WEAVE_CLIENT_PARALLELISM: 병렬 처리에 사용 가능한 스레드 수입니다. 이 값을 높이면 데이터셋 업로드와 같은 백그라운드 작업의 성능을 개선할 수 있습니다.

weave.init()의 settings 인수를 사용하여 프로그래밍 방식으로 설정할 수도 있습니다.

client = weave.init("fast-upload", settings={"client_parallelism": 100})

성능 평가

​대기 중인 백그라운드 작업 플러시

​클라이언트 병렬 처리 수준 높이기

대기 중인 백그라운드 작업 플러시

클라이언트 병렬 처리 수준 높이기