Page Claim 14 KO

페이지 절감 주장 모델 14

학습했지만 기본 적용하지 않는다. FP32·INT8·3진 PTQ·3진 STE 모두 두 seed에서 모든 질문에 보조 검색을 제안했다. 항상 보조 검색을 켜는 단순한 정책과 같아, 모델을 추가할 실용적 이점을 확인하지 못했다.

무엇을 학습했나

세 저장소의 고유 설명 질문 2,948개와 후보 함수 3,009개를 사용했다. 24개는 질문 수가 아니라 3개 fold × 2개 seed × 4개 표현의 파일 수다. 학습은 FP32와 3진 STE를 별도로 총 12회 수행했다. INT8·3진 PTQ는 각 FP32에서 파생됐다. 이전 09와 달리 보조 후보를 기존 후보 뒤에 교차하며 페이지 비용을 학습하므로, 결과 차이를 손실함수만의 효과라고 해석할 수 없다.

페이지 크기는 20으로 고정했다. '알려진 첫 정답까지 보조 검색이 더 적은 페이지를 요구하는가'를 이진 라벨로 쓰고, 페이지 차이의 절댓값을 학습 가중치로 썼다. 같은 페이지 수인 질문은 가중치 0이다. 예를 들어 10페이지를 절약하는 사례는 1페이지를 절약하는 사례보다 손실에 10배 반영된다. 입력은 기존의 질문 형태·기존 검색 점수 관련 12개 특징 그대로이며 정답 순위·정답 이름·저장소 정보·보조 검색 결과는 특징에 넣지 않았다.

가중 BCE를 최소화하고, 학습 가중치는 데이터셋 전체 평균 1이 되도록 정규화한 뒤 배치 사례 수로 경사를 나눈다. 검증 손실도 가중 BCE다. 고정 설정과 합격 기준은 plan-14.json에 첫 학습 전에 커밋했다. 페이지 수와 CPU 비용을 임의 비율로 합산하지 않는다. 가중치를 생략한 기존 학습은 변하지 않으며, 09의 24개 모델과 결과를 재생성해 모두 바이트 단위 일치를 확인했다.

검증 분리와 결과

etcd-io/etcd 806개, kubernetes/test-infra 1,152개, lxc/lxd 990개를 저장소 단위로 학습·검증·평가에 순환 배정했다. 각 모델의 평가 질문 라벨은 해당 모델의 학습·epoch 선택에 사용하지 않았다. 전체 코드 후보는 모든 fold에서 보이며, 이미 관찰한 데이터로 설계했으므로 독립 최종 평가가 아니다. 질문이 많아도 출처 저장소 3개라는 한계는 남는다.

정책	보조 검색 호출	전체 페이지	출력 후보	Recall@10
기존 BM25	0	9,488	189,760	74.83%
항상 보조 검색	2,948	6,287	125,740	81.38%
모든 학습 표현·seed	2,948	6,287	125,740	81.38%

주 후보 FP32/1729와 반복 후보 FP32/2718 모두 실패다. 합격에는 항상 보조 검색보다 페이지를 더 쓰지 않으면서 호출을 최소 10% 줄이고 기존 검색의 Recall@1/10을 유지해야 한다. 결과를 본 뒤 임계값을 낮추거나 성공한 seed만 선택하지 않았다. 출력 점수는 보정된 확률이나 실행 권한이 아니다.

Apple M4 Pro CPU에서 원천 검증·검색·12회 학습·24개 내보내기까지 wall 1.78초, user CPU 1.42초, 최대 RSS 90,750,976바이트였다. GPU는 사용하지 않았다. 24개 파일과 전체 결과가 재실행에서도 동일했다. 모델은 숫자 JSON이며 진짜 1.58-bit로 압축한 실행 파일이 아니다. 큰 Laya를 압축한 모델도 아니며 사전학습 인코더가 없다.

다음 판단

2,948개 중 페이지 수가 같은 2,470개는 가중치 0이었다. 이 손실함수는 그런 질문에서 보조 검색을 생략하도록 보상하지 않으며, 호출 감소는 학습 손실이 아닌 합격 기준에만 있다. 따라서 실패 원인을 특징 부족으로 단정할 수 없다. 다음 분리 실험에서는 보조 호출 예산과 임계값 선택 규칙을 먼저 고정하고 검증 저장소에서만 선택해야 한다. 이 결과를 본 뒤 현재 실험의 임계값을 조정하지 않는다.

이 설정의 손실함수 변경만으로 도움이 될 질문을 구별하지 못했다는 증거다. 의미 이해가 불가능하다는 증명은 아니다. 다음에는 학습에 쓰기 전에 추가 런타임 특징이 보조 검색의 이익/손해를 구별하는 신호인지 확인해야 한다. 보조 검색을 이미 실행해야 얻는 특징은 호출 절감 근거로 쓰면 안 된다. 실제 사용자의 독립 질문 2,400개 및 실제 검증 비용 평가도 아직 필요하다.

go run ./cmd/riido-pageclaim --out .cache/new-page-claim-run

07의 고정 원천 projection과 ZIP들이 필요하다. 모델은 Git에 넣지 않고 CI와 공개 패키지 검사를 통과한 뒤 Hugging Face의 별도 연구 아카이브에 보관한다. 기존 라우터·세션 기본값은 바꾸지 않는다. 원문·질문·개인 자료를 배포하지 않으며 원천 라이선스를 재부여하지 않는다. 실제 LLM 절감 또는 프로덕션 적합성은 입증하지 못했다.

공개 아카이브 검증 완료

Hugging Face 고정 리비전에 게시했다. 31개 파일을 다시 내려받아 원본과 바이트·SHA-256이 모두 일치함을 확인했고, 정확한 소스 리비전의 CI도 재검증했다. PR #37은 CI 통과 후 병합됐다. 공개 컬렉션에 포함된 실패 실험이며 기본 모델로 승격하지 않았다.