Deferred Path Search 42 KO

선택했을 때만 실행하는 보조 파일 검색 — 실험 42

보조 검색을 건너뛰는 호출에서 실제 보조 인덱스 생성과 검색을 하지 않는 Go 경로를 구현했다. 미리 계산한 결과를 사용하지 않았다고만 세는 방식과 구분한다. 유용한 선택 모델을 학습한 것은 아니며, 실제 LLM 시간·토큰 절감도 아직 측정하지 않았다.

계획을 먼저 고정했다. 기존 Rank는 비교용으로 기본/정규화/혼합 순위를 모두 계산한다. 새 RankSelected는 기본 검색을 수행하고, 실험 41의 16개 숫자만 선택 함수에 값으로 전달한다. 선택 함수가 true일 때만 보조 인덱스와 정규화 검색을 실행한다. nil 선택 함수는 숫자 특징 추출까지 생략하고 기본 검색만 반환한다.

경로	결과	실제 보조 작업
nil 선택 함수	기본 전체 순위	생성 0, 검색 0
false 반환	기본 전체 순위	생성 0, 검색 0
선택 함수 오류	기본 전체 순위, selector_error	생성 0, 검색 0
true, 정상 실행	기본 첫 후보를 보존한 전체 혼합 순위	필요한 경우 생성, 보조 검색 실행
true, 보조 검색 실패	기본 전체 순위, auxiliary_error	실제 시도 횟수 기록
기본 검색 자체가 유효하지 않음	오류	선택 함수를 호출하지 않음

특징 계산/혼합 실패도 명시적 기본 검색 복귀 경로가 있다. 선택 함수의 원 오류 메시지를 공개 결과에 복사하지 않는다. 후보 삭제나 결정적 정답 판단을 하지 않으며, 보조 결과도 같은 후보 집합의 순서만 바꾼다.

WorkStats는 기본 순위 계산·보조 인덱스 생성·보조 순위 계산의 실제 시도 횟수다. 실패한 시도도 센다. 이는 모델 호출 수나 절약한 시간/메모리/토큰 추정치가 아니다. 기본 인덱스 생성·특징·선택 함수 비용도 후속 전체 비용 측정에 포함해야 한다.

공통 기본/보조 계산을 기존 Ranker에서 분리해 새 경로와 기존 경로가 재사용한다. 기존 순위 결과는 독립적인 이전 구현과 비교했다. 일반 함수는 호출 간 인덱스를 보관하지 않는다. Ranker.RankSelected에서만 기존의 정확한 전체 경로 일치 기반 재사용을 명시적으로 선택한다. 실험 35에서 실제 작업의 재사용 이득을 입증하지 못했으므로 기본 활성화하지 않는다.

재사용을 선택한 합성 순서 건너뜀 → 사용 → 사용 → 건너뜀 → 목록 변경 후 사용의 실제 누계는 기본 순위 5회·보조 생성 2회·보조 순위 3회다. 최초 건너뜀 뒤에는 보조 인덱스 자체가 없다. 이미 만들어진 보조 인덱스가 있는 호출에서도 건너뛰면 보조 순위 계산은 0회다. 재사용 객체가 과거 인덱스 메모리를 보관할 수 있으므로 매번 메모리까지 반환한다고 주장하지 않는다.

검사는 항상 사용/항상 건너뜀/선택 오류, 늦은 첫 생성과 캐시 재사용, 목록 변경, 이전 결과/특징 배열의 독립성, 긴 질문/10,000개 후보 및 독립 worker의 race 검사를 포함한다. 구두점만 있는 질문은 정규화 결과가 비어 기존 구현도 기본 검색으로 복귀한다는 사실을 반영했다. 원 질문은 유효하지만 정규화 후 128KiB를 넘는 경우도 기본 전체 순위를 보존한다. 전체 race/vet/형식/redacted scan을 통과한 뒤 공개한다.

동일 Ranker는 한 순차 worker가 소유한다. 선택 함수는 입력 경로를 변경하거나 같은 Ranker를 재진입 호출하지 않아야 한다. 독립 worker는 별도 객체와 불변 모델을 사용하며 전역 캐시/잠금을 추가하지 않는다.

현재는 내부 연구 API이며 기존 CLI에 학습 가중치를 자동 연결하지 않는다. 다음은 고정 개발 자료와 출처 적격성 검토 후 선택 모델을 학습하고, 기본만/항상 보조/학습 선택을 실제 계산량과 품질로 비교하는 것이다. 이번 합성 실행 검사는 새 2,400개 실사용 평가나 학습 성공이 아니며, 수집 중 실행했으므로 시간·메모리 개선 벤치마크로 쓰지 않는다. 최종 평가와 HF 새 배포도 없다.

Source / 원본 · PR #65