Score Spread 21 KO

저비용 점수 분포 특징 실험 21

같은 비용 목표에서 입력 특징 4개를 추가하자 페이지와 호출이 모두 줄었지만 사전 기준은 아직 미달이다. 주 실험은 기존 12개 특징 대비 페이지 6,337→6,326, 보조 호출 2,470→2,408이었다. 간단한 점수 차이 규칙보다 140회 적게 호출하지만 3페이지 더 읽는다. 기본 라우팅에 적용하지 않는다.

바꾼 것과 고정한 것

기존 12개 특징에 기본 검색 상위 20개 점수의 평균·표준편차·첫 후보 점유율·마지막/첫 점수 비율을 추가했다. 평균·표준편차는 각 점수를 첫 점수로 나눈 값으로 계산한다. 후보가 20개보다 적으면 실제 개수를 쓰고, 최고 점수가 0이면 네 값 모두 0이다. 큰 값의 합으로 인한 overflow를 피하도록 점수 비율부터 계산한다.

입력은 이미 계산된 기본 검색 순위만 받는다. 추가 검색·정답·저장소 식별자를 특징에 넣지 않는다. 특징은 보조 순위와 정답 순위를 계산하기 전에 고정한다. 추가 특징은 별도 연속 배열에 저장해 기존 예제 구조와 12차원 모델 형식을 유지한다. 새 모델은 riido-spread-claim-v1, 계수 16개이며 기존 헤드로 오인해 읽지 못하도록 배포 검증을 분리했다.

계획을 실행 전에 고정했다. 비용 페널티 {0, 0.25, 1, 4, 16}, 두 seed, 학습기·세 저장소 분리·검증에서의 90% 호출 상한 및 페널티 선택을 실험 20과 동일하게 유지했다. 새 16차원 조건에서 30개 헤드를 학습했다. 페널티는 실험용 페이지 단위이며 실제 토큰·요금 환산값이 아니다.

결과

각 행은 동일한 문서 설명 기반 고유 질문 2,948개를 한 번씩 집계한다. 첫 후보를 보존해 Recall@1은 기본 검색과 같다.

정책	seed	호출	페이지	Recall@10
기본 검색	—	0	9,488	0.7483
항상 보조 검색	—	2,948	6,287	0.8138
점수 차이 규칙	—	2,548	6,323	0.8097
기존 12개 특징 + 비용 선택	1729	2,470	6,337	0.8094
기존 12개 특징 + 비용 선택	2718	2,489	6,338	0.8094
새 16개 특징 + 비용 선택	1729	2,408	6,326	0.8100
새 16개 특징 + 비용 선택	2718	2,317	6,331	0.8094
새 16개 특징, λ=0	1729	2,434	6,348	0.8083
새 16개 특징, λ=0	2718	2,339	6,342	0.8073

두 seed 모두 평가 저장소 etcd/test-infra/lxd 순서에서 λ=4/0/0.25가 선택됐다. 결과를 보고 penalty를 고르지 않았다. 두 seed는 독립적인 데이터 시험이 아니다.

새 주 정책은 기존 학습 정책보다 두 지표를 개선하지만, 항상 보조 검색보다 39페이지를 더 읽고 점수 차이 규칙보다도 3페이지 많다. 실험 20의 기준(페이지≤항상 보조 검색, 호출≤90%, Recall@1/10≥기본 검색, 학습 정책은 점수 차이 규칙을 페이지·호출에서 동시 개선)을 충족하지 못한다. 기준을 낮추거나 좋은 seed만 선택하지 않는다.

계산 비용·재현

Apple M4 Pro/macOS/Go 1.27.1. 새 학습·평가 전체는 한 번의 외부 측정에서 wall 2.09초, user CPU 1.71초, 최대 RSS 92,291,072바이트(약 88.0MiB)였다. 준비·후보 구성·30회 학습·검증·평가·저장을 포함하며 개별 추론 메모리가 아니다.

추가 특징 함수의 합성 벤치마크 3회는 42.27/39.31/39.65ns, 0 B/op, 0 allocs/op이었다. 유효 입력의 무할당 검사도 통과했다. pprof CPU 샘플은 특징 함수와 그 내부 검증 계산에 96.3%가 집중됐다. 이는 해당 함수를 반복한 마이크로벤치마크의 분포이며 전체 앱의 병목이나 GPU 측정이 아니다. 원시 프로파일은 로컬에만 보관한다.

기존 12개 특징과 합쳐 잰 고정 순서 벤치마크에서는 오히려 새 쪽이 더 짧게 나왔다. 이런 타이밍 차이를 속도 향상으로 해석하지 않는다. 추가 함수 비용의 범위와 할당 결과만 근거로 삼으며 전체 서비스 지연은 별도 검증이 필요하다.

새 30개 헤드와 결과 JSON이 재실행에서 31/31 파일 모두 바이트 일치했다. 공통 학습 코드를 바꾼 뒤의 실험 20도 기존 31개 파일과 바이트 일치했다. 기존 HF 20/14 아카이브의 검증도 통과했다. 단위 검사로 0점·균일·집중 점수, 큰 수, 잘못된 순서·인덱스·비유한 수, 상위 20개 접근 범위, 학습 분리, 12/16차원 형식 구분을 확인했다.

go run ./cmd/riido-spreadclaim --out .cache/spread-claim-21
go test ./internal/searchclaim -run '^$' -bench 'Benchmark(SpreadExtra|FeatureVariants)' -benchmem -benchtime=300ms -count=3

전체 결과, 계산 비용 집계. 연구용 수치 헤드는 CI·파일 검증 후 HF에만 배포하며 원문·질문·개별 정답·가중치·프로파일을 Git에 넣지 않는다. 현재 점수는 비용 목표의 대리값이며 보정된 확률이나 행동 권한이 아니다.

이 자료는 이미 관찰한 세 저장소의 문서 설명 문제이므로 새 독립 최종 시험이 아니다. 실제 사용자 요청·에이전트 완료율·LLM 절감은 미검증이다. CoSQA reserve는 사용하지 않았고, 그 쌍 관련성 자료가 이 검색 정책의 최종 평가를 자동으로 대신하지 않는다. 다음 단계에서도 값싼 입력 정보의 추가 가치와 실제 작업 비용을 분리해 확인해야 한다.

Source / 소스 · PR and CI / 변경 및 검사

Publication / 배포: https://huggingface.co/JooYoon/riidolaya-score-spread-research-v0.1. Public immutable revision, 37/37 files byte-identical after download; exact-source CI passed. MANIFEST SHA-256: d718de763f93d19adca8c6d18b77dcb091057434b29d5a34c1eda459b3032637. PR #44 merged; research-only, not activated.