Evaluation

평가와 개선

evals/protocol.md와 평가기를 고정하고 baseline과 candidate를 비교합니다. 텍스트 피드백에서 실패 원인을 추출해 출제 지침·검색·윤문·작업 흐름의 개선 가설을 만듭니다. 모델 가중치를 훈련하는 방식이 아닙니다.

고정 과제·분할·실제 모델·하네스 해시·문항과 검토 원문·수정 내역·사용량을 보존합니다. 평가기 변경으로 점수를 올리지 않습니다. 후보가 개선되지 않으면 채택하지 않습니다. 한 유형의 소수 사례로 PSAT·LEET 전체 전문가 수준을 입증했다고 하지 않습니다.

독립 모델 풀이, 편집 의견, 형식 검사, 실제 사람 승인, 실측 풀이 시간, 한글 렌더 검증은 서로 다른 증거입니다. 개발 피드백은 로컬 지식 위키에 축적할 수 있지만 봉인 평가·holdout 정답은 제외합니다.

실제로 실행한 결과와 한계는 첫 제품군별 파일럿과 LEET 검토의견 반영 전후 비교에 공개합니다. 후자는 한 과제의 각 3회 실행에서 나온 모델 평가상 개선 신호이며, 전문가 승인이나 다른 과목·한글 출력 품질의 증거는 아닙니다. 원문 문항과 팀 검토 자료는 로컬에 보관합니다.