Claim Signal Audit 23 KO

주장 모델 입력 신호 점검 23

기존 점수 분포는 보조 검색이 영향을 줄 질문을 찾는 데 신호가 있지만, 이득과 손해를 구별하는 단일 특징으로는 약했다. 따라서 같은 점수 특징으로 학습 횟수만 늘리기 전에 입력 정보의 종류를 점검한다. 새 모델이나 실행 정책을 배포한 실험은 아니다.

왜 나눠 봤나

실험 22의 작은 트리는 호출을 줄였지만, 해로운 보조 검색 146개 중 135개를 여전히 호출했다. 여기서 “손해가 있을 질문”과 “나머지”를 구분하는 성능만 보면 오해할 수 있다. 이득이 있는 질문도 같은 신호를 보인다면, 그 신호로 호출을 막을 때 이득까지 잃기 때문이다.

같은 고유 질문 2,948개에서 기존 16개 특징을 모두 측정했다. 페이지는 후보 20개 묶음이며 이득 332개, 손해 146개, 페이지 동률 2,470개다. 세 가지 구분을 따로 평가했다.

• 손해 대 나머지: 전체 2,948개, 손해 146개를 양성으로 둔다.
• 이득 대 나머지: 전체 2,948개, 이득 332개를 양성으로 둔다.
• 손해 대 이득: 페이지 동률을 제외한 478개 부분집합이다. 별도의 2,400개 최종 시험으로 세지 않는다.

계획을 실행 전에 고정했다. 특징마다 값이 클 때 양성으로 볼지, 작을 때 양성으로 볼지는 학습 저장소의 AUC만으로 정했다. 검증·평가 저장소에서는 방향을 바꾸지 않았다. AUC가 0.5이면 원래 방향을 유지한다. 평가 저장소는 기존 etcd/test-infra/lxd 순환 분할이며, 각 특징·구분 조건마다 모든 해당 질문을 한 번씩 집계한다.

결과

AUC는 양성과 음성을 한 개씩 골랐을 때 양성에 더 높은 순위를 주는 정도다. 0.5는 순위 구별이 없는 수준이고, AUC 0.72는 정확도 72%라는 뜻이 아니다. AP(평균 정밀도)는 점수 순위에서 양성이 얼마나 모이는지 보는 보조 지표다. 동점은 하나의 묶음으로 처리한다.

구분	특징	저장소 평균 AUC	평균 AP	평균 양성 비율
손해 대 나머지	상위 20번째/첫 점수 비율	0.7217	0.1510	0.0502
이득 대 나머지	같은 비율	0.7307	0.2330	0.1152
손해 대 이득	같은 비율	0.4789	0.3396	0.3067
손해 대 이득	상위 점수 변환값	0.5910	0.4066	0.3067
손해 대 이득	질의 고유 단어 비율	0.5730	0.3500	0.3067

각 값은 세 저장소 지표의 동일 가중 평균이다. 원천 질문 수로 가중한 전체 AUC/AP가 아니다. 양성 비율도 같은 방식이라 전체 146/2,948와 조금 다르다. 상수 특징의 AUC는 0.5, AP는 각 저장소의 양성 비율로 나와 동점 처리를 확인했다.

상위 20번째/첫 점수 비율은 손해 대 나머지와 이득 대 나머지 모두 학습에서 큰 값이 양성인 방향을 선택했다. 평가 AUC도 각각 0.66–0.78, 0.71–0.74 범위였다. 두 유형이 비슷한 점수 분포를 보일 수 있다는 진단 근거다. 반면 손해 대 이득에서는 이 특징의 평균 AUC가 0.4789로 약했다.

손해 대 이득에서 관찰된 평균 AUC가 가장 높은 단일 특징은 상위 점수 변환값의 0.5910이었다. 저장소별 0.5554/0.6350/0.5827이었다. 여러 특징을 본 뒤의 최고 관찰값이며 독립 검증된 승자나 실사용 정책이 아니다. 단일 특징이 약하다고 여러 특징의 조합에도 정보가 없다고 단정할 수 없다. AP 역시 특정 임계값의 정밀도나 실제 절약량을 뜻하지 않는다.

다음 실험에 주는 근거

기존 분포 특징만으로 유해 호출을 골라낼 수 있다고 가정하지 않는다. 다음 후보는 기본 검색 상위 후보에서 질의 단어가 얼마나 직접 일치하는지처럼 호출 전에 읽을 수 있는 내용 정보다. 기존 인덱스의 정렬된 posting 배열을 활용할 수 있는지 검토하고, 새 특징의 처리량·메모리·추출 비용을 포함해 비교해야 한다. 보조 검색을 먼저 실행해서 얻은 정보를 “보조 검색을 생략하는 무료 특징”으로 계산하지 않는다.

다음 학습도 입력 변경과 학습 목표 변경을 구분해 사전 계획한다. 이 자료는 이미 반복 관찰한 개발 자료다. 최종 검증에는 별도의 실제 요청 최소 2,400개가 필요하며, 드문 유해 사례의 수와 출처도 함께 확인해야 한다. 어려운 사례를 의도적으로 모은 시험은 실제 분포를 대표하는 시험과 따로 보고하고, 반복·재작성으로 수를 채우지 않는다.

재현과 자원

go run ./cmd/riido-claimaudit --out .cache/claim-signal-audit-23

고정 원천·후보 해시를 확인한 후 기존 특징과 정답 순위를 다시 계산한다. 모델 학습·임계값 선택·새 모델 파일은 없다. 전체 결과 JSON은 재실행에서 바이트 일치했다. 동점 순서 불변, 상수 특징, 역방향 신호, 비유한 점수·단일 클래스 거부, 부분집합 선택과 평가 데이터 변경의 학습 격리를 검사했다.

Apple M4 Pro/macOS/Go 1.27.1 CPU 한 번: 원천 검증·검색·특징·분석·출력 전체 wall 1.81초, user 1.45초, 최대 RSS 94,158,848바이트(약 89.8MiB). 이것은 분석 작업 전체 비용이며 개별 추론이나 GPU 메모리가 아니다. 원시 질문·정답 행·예측값·모델 가중치를 공개하지 않는다. 이 점검에는 배포할 새 모델이 없어 HF 모델 저장소를 만들지 않는다.

전체 144개 저장소별 조건과 48개 집계. 다중 비교 보정·유의성·새로운 언어/도메인 일반화·에이전트 완료율·LLM 비용 절감은 입증하지 않았다. CoSQA reserve는 사용하지 않았다.

Source / 소스 · PR #46 / CI

CI passed on macOS and Linux; PR #46 merged. macOS·Linux CI 통과 및 병합 완료. No new model release / 새 모델 배포 없음.