EvaluationLogger - CoreWeave Docs

EvaluationLogger를 사용하면 예측과 점수를 점진적으로 로깅할 수 있습니다. 데이터셋과 배치 처리를 미리 준비해야 하는 기존 Evaluation 클래스와 달리, EvaluationLogger를 사용하면 예측이 생성되는 즉시 로깅하고 점수화도 유연하게 수행할 수 있습니다.

예시

const ev = new EvaluationLogger({name: 'my-eval', dataset: 'my-dataset'});

for (const example of streamingData) {
  const output = await myModel.predict(example);
  const pred = ev.logPrediction(example, output);

  if (shouldScore(output)) {
    pred.logScore("accuracy", calculateAccuracy(output));
  }
  pred.finish();
}

await ev.logSummary();

생성자

new EvaluationLogger(options): EvaluationLogger

매개변수

object

필수

숨기기 속성

Record<string, any>

string | Dataset<DatasetRow>

Dataset을 참조하세요.

string

WeaveObject | { name?: string; }

WeaveObject를 참조하세요.

string

필수

string[]

반환값

EvaluationLogger

메서드

logPrediction()

logPrediction(inputs, output): ScoreLogger

예측을 입력 및 출력과 함께 로깅합니다(동기 버전). predict_and_score 호출을 생성합니다(하위 predict 호출 포함). 점수를 추가할 수 있도록 ScoreLogger를 즉시 반환합니다. 이 방법은 ScoreLogger를 동기적으로 반환합니다. ScoreLogger에 대한 오퍼레이션(logScore, finish)은 큐에 추가되며 초기화가 완료되면 실행됩니다.

매개변수

Record<string, any>

필수

any

필수

반환값

ScoreLogger

예시

// 완료를 기다리지 않고 실행하는 방식
const scoreLogger = evalLogger.logPrediction({input: 'test'}, 'output');
scoreLogger.logScore('accuracy', 0.95);
scoreLogger.finish();
await evalLogger.logSummary(); // 모든 작업이 완료될 때까지 대기

logPredictionAsync()

logPredictionAsync(inputs, output): Promise<ScoreLogger>

예측을 입력 및 출력과 함께 로깅합니다(비동기 버전). logPrediction()과 유사하지만 예측 호출이 완전히 초기화되면 이행되는 Promise를 반환합니다. 다음 단계로 진행하기 전에 초기화가 완료될 때까지 기다려야 하는 경우 사용하세요.

매개변수

Record<string, any>

필수

any

필수

반환값

Promise<ScoreLogger>

예시

// await 사용 방식
const scoreLogger = await evalLogger.logPredictionAsync({input: 'test'}, 'output');
await scoreLogger.logScore('accuracy', 0.95);
await scoreLogger.finish();

logSummary()

logSummary(summary?): Promise<void>

요약을 로깅하고 평가를 마무리합니다. summarize 호출을 생성하고 evaluate 호출을 종료합니다. 이 방법은 await 없이 호출할 수 있지만(fire-and-forget), 내부적으로는 대기 중인 모든 오퍼레이션이 완료될 때까지 기다립니다.

매개변수

Record<string, any>

반환값

Promise<void>

​예시

​생성자

​매개변수

​반환값

​메서드

​logPrediction()

​매개변수

​반환값

​예시

​logPredictionAsync()

​매개변수

​반환값

​예시

​logSummary()

​매개변수

​반환값

예시

생성자

매개변수

반환값

메서드

logPrediction()

매개변수

반환값

예시

logPredictionAsync()

매개변수

반환값

예시

logSummary()

매개변수

반환값