Training Source 36 KO

별도 학습 자료의 중복·출처 검사 — 실험 36

새 후보군 15,423개 작업 그룹, 35개 저장소를 확보했다. 아직 학습·검증·최종 평가 분할이나 모델 학습은 아니다. 기존 평가 자료의 작업 ID·정규화된 질문·코드 시점·저장소 이름과 겹치지 않는 별도 자료를 확인한 단계다.

기존 SWE-bench/SWE-bench 고정본에는 test/dev만 있었다. 원 배포본의 고정 revision은 별도 train 19,008개를 제공한다. 다운로드 전에 파일 크기·SHA-256·분석 규칙을 계획에 고정했다. 최신 main으로 자동 갱신하지 않는다.

항목	결과
원래 train 행 / 고유 ID	19,008 / 19,008
고유 정규화 질문 / 저장소·수정 전 커밋	18,257 / 16,138
연결된 작업 그룹 / 대표 작업	15,423 / 15,423
같은 그룹의 추가 행	3,585
기존 평가 자료와 직접 겹친 ID·질문·시점	모두 0
기존 평가 자료와 겹친 저장소 이름	0
평가·이전 자료와의 연결로 제외된 학습 행	0
후보 저장소	35

ID, 소문자·공백 정규화 질문, 저장소/수정 전 커밋 중 하나라도 같으면 연결하고 연쇄 연결도 같은 그룹으로 묶었다. 기존 평가 원본 2,594개 전체를 비교했으며, 2,400개에 선택되지 않은 형제 작업도 보호한다. 이전 문서 검색의 etcd·Kubernetes·LXD 저장소도 제외 대상으로 둔다. 평가 또는 제외 저장소에 닿는 그룹은 전체 제외하고, 나머지 그룹에서 ID 사전순 첫 작업 하나를 대표로 삼는다. 난이도·정답·검색 결과는 보지 않았다. 저장소별 전체 집계.

후보 그룹에서도 pandas 3,639개(약 23.6%), Qiskit 1,314개 등 편중이 있다. 같은 질문의 의미상 변형, 포크·이름 변경에 따른 저장소 별칭, 기존 모델 사전학습 오염까지 없다고 증명한 것은 아니다. 현재 비교는 정확한 문자열과 명시한 정규화·연결 규칙이다. 15,423개를 모두 독립 관측으로 취급해서는 안 된다.

Python은 기존 PyArrow 환경의 관리자 전용 Parquet 변환에만 사용한다. 고정 원본 해시·19,008행·문자열 필드를 검사하고, 한 번에 128행씩 instance_id, repo, base_commit, problem_statement만 내보낸다. patch·힌트·테스트 필드는 Go 입력에 들어가지 않고 데이터셋 스크립트도 실행하지 않는다. projection·감사 출력은 0600이며 다운로드·감사 디렉터리는 0700이다.

실제 중복 검사·연결·대표 선택은 Go의 정렬 배열과 union-find로 수행한다. 별도 학습 reader만 96MiB·32,768행을 허용하며 기존 평가 reader의 32MiB·4,096행 한도나 제품 런타임 한도는 바꾸지 않는다. 원문 한 행은 기존 1MiB 한도를 유지한다.

go run ./cmd/riido-trainaudit --out .cache/training-audit-new

고정 projection은 로컬 관리자 변환으로 준비해야 한다. 실행은 네트워크 없이 집계 results.json과 비공개 대표 목록 candidates.json을 새 디렉터리에 쓴다. 원본 Parquet 106,606,519바이트, 요청 projection 41,811,016바이트다. 원본 전체를 메모리에 풀거나 Docker 이미지를 설치하지 않았다. M4 Pro CPU의 Go 검사 전체는 2.04초, user 1.70초, system 0.04초, 최대 RSS 175,915,008바이트(약 167.8MiB)였다. 다운로드·Parquet 변환은 이 수치에 포함하지 않으며 모델 추론 수치도 아니다.

projection 재변환, 일반 재실행, 실제 전체 자료 race 실행에서 각각 파일이 바이트 단위로 일치했다. 기존 2,400개 평가 선택 지문도 그대로다. 합성 테스트로 연쇄 제외·대표 선택·입력 순서 불변·입력 비변경·중복 ID 거절·필드 격리·기존 한도 유지·출력 권한·덮어쓰기 방지를 검사한다. PyArrow 테스트는 로컬 관리자 환경에서 수행하며 CI에 새 Python 런타임을 추가하지 않는다.

라이선스: 고정 데이터 카드에는 명시적 라이선스 항목이 없다. 자료 이름의 train이나 SWE-bench 도구 코드의 MIT 라이선스만으로 원 이슈·패치 및 파생 모델 배포가 모두 승인됐다고 판단하지 않는다. 각 저장소의 해당 과거 시점 라이선스·출처·제3자 자료를 검토한 뒤 학습 범위와 배포 여부를 정한다. TrainingApproved=false는 이 연구 단계의 미완료 상태이며 법률 판단이 아니다. 현재 공개하는 것은 자체 코드·계획·집계뿐이고, 원문·패치·대표 작업 목록·모델 파일은 올리지 않는다.

다음 단계는 라이선스와 저장소 별칭 확인, 저장소와 관련 작업을 함께 분리하는 학습/검증/새 최종 평가 설계, 최소 2,400개 최종 작업 확보, 그리고 별도 후보의 파일 목록·학습 라벨 준비다. 모델의 목표는 “보조 검색을 쓸 때 비용이 줄어들 가능성”이라는 힌트다. 파일 수정 목록만으로 작업 난이도·분할 가능성·모델 라우팅 정답이 생기는 것은 아니다. 기존 평가 자료로 학습하지 않았고, 기존 최종 예비 평가셋을 채점하지 않았으며 Hugging Face 모델 배포도 없다.

Follow-up / 후속: Frozen train/validation/final roles / 학습·검증·최종 분할 완료.