Cost Claim 20 KO

호출 비용을 반영한 주장 학습 20

학습 목표 수정은 이전 학습 모델보다 개선됐지만, 사전 실사용 후보 기준은 통과하지 못했다. 주 실험에서 페이지 7,033→6,337, 보조 호출 2,558→2,470으로 줄었다. 간단한 점수 차이 규칙보다 호출은 78회 적지만 페이지는 14개 더 읽는다. 좋은 거래 조건인지는 아직 입증되지 않았다.

무엇을 바꿨나

실험 14는 기본 검색 페이지−보조 검색 페이지의 부호를 정답, 절댓값을 학습 가중치로 사용했다. 페이지가 같았던 2,470/2,948개 질문은 가중치가 0이므로 불필요한 호출 자체를 학습 손실에서 벌하지 않았다. 실험 20은 여기에 호출 페널티 λ를 빼서 순이득 = 절약 페이지−λ를 학습한다. λ>0이면 페이지 동률인 호출에도 손실이 생긴다.

λ=0, 0.25, 1, 4, 16을 미리 고정하고 모두 비교했다. λ는 실험용 페이지 단위의 호출 페널티이며 실제 CPU·LLM 토큰·요금 환산값이 아니다. 검증 자료에서 90% 호출 상한을 만족하는 점수 기준을 고른 뒤, 페이지가 가장 적은 λ를 선택한다. 동률이면 호출이 적은 것, 다시 동률이면 작은 λ를 고른다. 평가 저장소의 결과를 보고 λ를 고르지 않는다.

모델 점수는 비용 목표에 대한 대리 점수이며, 보정된 확률이나 작업 실행 권한이 아니다.

12개 입력 특징, 학습기·학습률·epoch 수, 세 저장소 분리와 두 seed는 유지했다. 조건을 분리하기 위해 새 특징·3진 압축을 추가하지 않았다. 3 folds × 2 seeds × 5 penalties = 30개 FP32 수치 헤드를 Go CPU로 학습했다. 30개 헤드는 30개 독립 모델 구조가 아니라 같은 12계수 구조의 실험 조건들이다.

결과

각 행은 기존 공개 소스 3,009개 후보에 대해 문서 설명 기반 고유 질문 2,948개를 한 번씩 집계한다. 모든 조건은 첫 후보를 보존하므로 Recall@1은 기본 검색과 같다.

정책	seed	보조 호출	읽은 페이지	Recall@10	사전 기준
기본 검색	—	0	9,488	0.7483	대조군
항상 보조 검색	—	2,948	6,287	0.8138	대조군
점수 차이 규칙	—	2,548	6,323	0.8097	실패
비용 없는 학습, λ=0	1729	2,558	7,033	0.8050	실패
비용 없는 학습, λ=0	2718	2,543	7,079	0.8050	실패
비용 반영, 검증에서 λ 선택	1729	2,470	6,337	0.8094	실패
비용 반영, 검증에서 λ 선택	2718	2,489	6,338	0.8094	실패

두 seed 모두 평가 저장소 etcd, test-infra, lxd 순서에서 λ=1, 4, 0.25가 선택됐다. 학습 모델 대비 개선은 두 seed에서 관찰됐지만, 두 seed가 독립된 데이터 반복 시험을 뜻하지는 않는다.

기준은 실험 15의 90% 조건을 유지했다: 항상 보조 검색 이하 페이지, 실제 호출 ≤90%, 기본 검색 이상의 Recall@1/10. 학습 정책은 점수 차이 규칙보다 페이지와 호출이 모두 나쁘지 않고 하나는 엄격히 좋아야 한다. 새 정책은 항상 보조 검색보다 50/51페이지 많으며 점수 차이 규칙을 두 지표에서 동시에 개선하지 못했다. 결과를 본 뒤 기준을 완화하지 않는다.

재현·자원·한계

계획을 학습 전에 커밋했다. 고정된 학습/검증/평가 저장소 경계, 입력 특징과 페이지 계산을 그대로 썼다. 검증에서 기준값을 정한 뒤의 실제 호출 수를 보고하며, 검증 90% 상한은 배포 중 강제 쿼터가 아니다. 같은 점수는 하나의 묶음으로 취급한다. 정답·보조 결과로 사전 입력 특징을 만들지 않는다.

λ=0의 여섯 헤드는 기존 실험 14의 해시 검증된 아카이브와 계수·epoch·NLL·저장소 경계가 정확히 같았다. 전체 재학습의 30개 헤드와 집계 JSON, 31/31개 파일이 바이트 단위로 재현됐다. 단위 검사는 동률 호출의 가중치, 순이득 부호 변화, 다른 저장소 정답의 격리, 검증 기준의 선택 순서와 배포 파일 변조 거부를 확인한다.

Apple M4 Pro/macOS/Go 1.27.1/CPU. 외부 wall 1.95초, user CPU 1.59초, 최대 RSS 90,898,432바이트(약 86.7MiB). 데이터 읽기·후보 구성·30개 학습·검증·평가·파일 저장을 포함한 한 번의 도구 실행 비용이다. 개별 추론이나 GPU/pprof heap 측정이 아니다.

go run ./cmd/riido-costclaim --out .cache/cost-claim-20
# 재실행은 새로운 출력 폴더로 실행한다.

결과 JSON은 모든 후보의 검증 수치·파일 해시와 선택 결과를 포함한다. 원문·질문·행별 정답·가중치 본체는 Git에 넣지 않는다. 수치 헤드는 공개 적합성·파일 명세·정확한 소스 커밋의 CI 확인 후 연구용 HF 아카이브로만 배포한다. 사용자 기본 동작과 opt-in 경계는 유지한다.

이미 관찰한 세 저장소의 문서 설명 문제이므로 새로운 독립 사용자 평가가 아니다. CoSQA reserve 2,403개·2,401개는 사용하지 않았다. 그 reserve는 쌍 관련성 자료라서 이 검색 정책의 최종 시험을 자동으로 대신하지도 못한다. 실제 에이전트 완료율·총시간·LLM 사용량 절감은 여전히 미검증이다.

다음은 비용 목표를 유지하면서 사전 계산이 저렴한 입력 특징의 기여를 분리하는 것이다. 모델 차원·특징 계산 비용·페이지·보조 호출을 함께 측정하고, 전체 정밀도에서 유용성이 확인된 뒤 INT8/3진 비교로 돌아간다.

Source: PR #43. Exact-source CI passed. Merged as dd8ca93776d48fa52043bf86cddbe4182b519ff0.

연구용 모델: 고정 HF 버전. 공개 상태와 파일 목록을 확인했고 37개 파일을 다시 내려받아 바이트 일치 및 CI 포함 배포 검증을 통과했다. 파일 총합 91,166바이트, 헤드 JSON 각각 928–947바이트이며 실행 메모리와는 다르다. 실사용 권장 단계가 아니다.

Manifest SHA-256: 99cf391ca4696a91a49feef57d4b87f9df5372058e74ec1f106a07c58bf43849.