Repository navigation
v0.45.1 — 검색 근거 관찰과 교훈 평가
v0.45.1 — 검색 근거 관찰과 교훈 효과 평가
검색에 일치하는 기록이 있어도 질문에 필요한 조건이 실제 문맥에 모두 들어 있다는
뜻은 아니다. 이번 버전은 실제 recall 출력에서 작성자가 선언한 근거의 노출을 관찰하고,
검색 범위·출력 누락·상충 근거를 나누어 평가하는 선택형 도구를 추가한다.
v0.45.0 후보에서 수정한 시험 경로
macOS 임시 폴더의 /var 경로는 /private/var로 연결될 수 있다. 두 정상 입력 시험이
이를 반영하지 않아 엄격한 연결 경로 거부에 걸렸다. 시험이 소유한 임시 루트에
Path.resolve()를 적용했고, 연결 부모는 거부하며 실제 경로는 읽는 회귀 시험을 추가했다.
별칭 임시 폴더 환경에서 해당 두 시험을 하위 프로세스로 다시 실행하는 회귀도 포함한다.
런타임 읽기 정책을 느슨하게 하지 않았다. 이전 후보 태그를 다시 쓰지 않는다.
변경
- 검색 근거 관찰:
assess_support(recalled, contract)는
실제로 출력된 출처와 줄의 정확한 문구를 선언한 필수 항목·상충 항목과 비교한다.
문서 제목 일치나 결과 목록에만 있고 출력에서 빠진 근거를 충족으로 세지 않는다.
여러 필수 항목은 모두 필요하고 항목 안 대안은 하나만 관찰돼도 된다. - 실제 검색 평가: 새 합성 볼트에서 실제 recall을
실행한다. 어휘 혼동, 여러 기록에 흩어진 조건, 누락·상충, 줄 선택과 출력 예산,
512KiB 전후 UTF-8 파일을 측정한다. 잘못된 any-match 대조군과 구별한다. - 교훈 관찰 비교: 명시적으로 입력한 교훈 없음·힌트·가드
관찰 기록에서 비교 조건과 짝·근거·시점·누락을 검사한다. 첫 시도·재시도·최종 작업
결과·불필요한 중단·측정된 사용량을 분리한다. 기본 예시는 scripted 데모다. - Claude/Codex 설치의 필수 리소스 바이트 확인과 CI에 새 도구를 연결한다.
유지되는 동작과 경계
기본 recall 반환값·정렬·훅·설정 템플릿은 바꾸지 않는다. 단일 파일 512KiB 상한과
불완전 검색 표시는 유지된다. 구간 읽기, 새 검색 알고리즘, 벡터 DB, 모델 판정 게이트는
추가하지 않는다. 기존 구조화 기억의 조건·시간·권한과 온톨로지 검사는 그대로다.
관찰은 호스트가 선언한 literal quotation의 출력 여부다. 의미적 충분성, 원문의 현재성,
진실, 행동 권한을 인증하지 않는다. 부정 근거의 부재는 부정 명제의 근거가 아니다.
교훈 기록의 해시와 caller-reported 실제 호스트 표지는 실행의 진위를 인증하지 않는다.
시뮬레이션과 실제 호스트 관찰을 합쳐 효과를 주장하지 않으며 인과적 효과를 증명하지 않는다.
도구가 모델·명령·호스트를 자동 실행하지 않고, 사용자 볼트를 평가 대상으로 자동 읽지 않는다.
참고와 기존 활용의 차이
| 자료 | 고정 근거와 이번 활용 | 기존 활용과의 관계 |
|---|---|---|
| RULER, COLM 2024 · NVIDIA/RULER | Apache-2.0 코드가 공개된 합성 길이·복수 값·변수 연결 평가. 이 버전은 원본 합성 기록과 실제 recall 경로로 응용하며 코드·외부 데이터는 복사하지 않음 | 공개 대장과 조사한 기존 기록에서 미발견. hsiehjackson/RULER는 이전 주소, 규칙 배포 도구 intellectronica/ruler와 다름 |
| NoLiMa, ICML 2025 · 라이선스 | 질문·근거의 낮은 어휘 중복과 literal distractor 설계만 참고 | 비상업 학술 연구·교육용 제한. 코드·needle·haystack·결과를 복사하지 않음 |
| Sufficient Context, ICLR 2025 · 공개 설명 | 관련 기록 존재와 질문 지원의 구분을 실제 recall 문맥의 명시적 필수 근거 관찰에 연결 | 과거 충분성 판정 검토의 후속 활용. 공개 저장소는 README와 이미지이며 실행 가능한 autorater·명시적 라이선스가 없음. 판정자 프롬프트·코드 복사나 모델 정확도 이전 없음 |
| lessons-learned | MIT. 비교 팔과 행동·최종 결과를 구별하는 평가 설계 참고 | v0.43.0의 hint/guard·예산·인용문 처리 참고를 재사용. 이번에는 관찰 기록의 비교 조건과 정직한 점수 집계로 확장하며 코드/시나리오 복사 없음 |
논문 성능은 당시 논문의 모델·자료에서 얻은 결과이며 플러그인 성능이 아니다.
RULER의 현행 main은 예전 실행 파이프라인에 deprecated를 표시한다. 2024 논문의
방법을 최신 브랜치의 성능이나 현재 모델의 능력으로 해석하지 않는다.
실행과 설치
python scripts/evaluate_recall_support.py
python scripts/evaluate_lesson_cue_effects.py
세부 입력과 결과 해석은 각 안내를 따른다. 새 도구와 API는 명시적으로 선택한다.
Python 3.10+ 표준 라이브러리를 유지하고 운영 의존성을 추가하지 않는다.
현재 설치 ref는 v0.45.1이다. 공개는 활성 설치 캐시 갱신이나 회사 볼트 upgrade가 아니다.
검증
검증 계약에 따라 최종 소스의 로컬 시험·독립 검토·CI·
실제 격리 설치 바이트·인증서·재빌드·자산을 별도로 확인한다. 실제 결과는 공개
verification.json에 기록하고 게시 후 확인은 별도 기록으로 보관한다. 과거 릴리스의
성공 수치를 이번 버전의 결과로 옮기지 않는다. 실제 호스트 교훈 효과는 아직 미측정이다.