Pilot100 Results KO

진행·완료 보고·질문: 첫 100건 개발 시험 결과

English · 기능 안내 · 앞서 정한 적용 범위

별도로 작성한 합성 개발 문장100개를 실제 게시된 Go 가중치로 처리했습니다. Go v0.2는69/100, 부모 v0.1은31/100이었지만, 완료 보고는10/25였습니다. 이 단계에서 가중치·온도·기준을 바꾸거나 새 모델을 선택하지 않았습니다. 실제 Riido 조회·표시 설치·상태 변경은0입니다.

진행·완료 보고·질문은 각25건, 다른 다섯 의미는 각5건이며 한국어·영어는 각50건입니다. 모두 AI 작성자의 허구 문장과 의미 주석입니다. 독립 인간 검수나 실제 제품 정답이 아니며 고유 family100개도 통계적 독립성을 보장하지 않습니다. 이름·번호·번역으로 행 수를 늘린 자료는 아닙니다.

같은 100건의 비교

비교군	전체 정답/100	표시 제안	올바른 제안	잘못된 제안
게시 Go v0.2	69	16	15	1
부모 Go v0.1	31	7	5	2
기존 규칙	35	22	19	3
speech-act 규칙	44	31	28	3

모델은 기존 temperature와 confidence0.9·margin0.05를 유지했습니다. 규칙의 one-hot 점수는 보정된 확률이 아닙니다. 전체 정답 수와 제안 범위는 별도 결과이며, 규칙이 더 많은 문장을 제안했다고 모델보다 정확하다고 결론 내리지 않습니다.

v0.2의 표시 의미	분류 정답/해당25건	올바른 제안/생성된 제안
진행 보고	21/25	6/6
완료 보고	10/25	3/4
질문	18/25	6/6

전체 정답률69%, 제안 정밀도15/16, 올바른 표시 coverage15/75(20%)는 분모가 다릅니다. 한국어는38/50, 영어는31/50입니다. 앞선 합성40건의85%를 이번100건에서 유지했다고 주장하지 않습니다.

높은 점수에서도 틀린 완료 보고

공개 합성 사례의 원문은 다음과 같습니다.

Do completed checks have to be repeated after only the description changes?

정답 주석은 질문인데 v0.2는 completion_report를 0.98825(약98.8%) 점수로 제안했습니다. 부모도 같은 오류를 냈습니다. 원문·주석·실패는 그대로 보존했습니다. completion_report는 완료됐다고 쓴 문장을 분류하는 의미이며 실제 실행 성공이나 전체 업무 완료의 증명이 아닙니다.

8개 의미의 NLL은2.9244→0.9607, Brier는1.0299→0.4471이었습니다. 부모와 자식의 temperature는0.7과0.9이므로 보정 효과를 포함한 비교입니다. 전체8개 확률과 confusion을 유지하고, 세 표시 밖의 다섯 의미를 합한 none은 별도 손실 진단에만 사용합니다. 예측을 세 의미로 재정규화하거나 차선의 허용 의미로 바꾸지 않습니다.

같은 결과를 만드는 더 작은 실행 파일

같은100건을 두 별도 macOS 프로세스에서 반복해 wrapper 비용을 비교했습니다. 모든 확률·지표·제안·metadata는 정확히 같았습니다. 이 반복은 새 독립 사례를 추가하지 않습니다.

한 번의4비교군 처리	공용 riidolaya	전용 riido-statehint-pilot
바이너리 파일 크기	11,875,234B(약11.88MB)	4,390,322B(약4.39MB)
최대 OS RSS	20,463,616B	12,566,528B
JSON 인코딩 전 Go heap 표본	1,892,600B	1,650,904B

각 프로세스는 두 모델을100번씩, 두 규칙을100번씩 호출했습니다. 파일 읽기·모델 로딩·JSON·합성 catalog·보고서 처리를 포함한 한 번의 실행입니다. 실제 네트워크 조회·장기 운영·GPU는 포함하지 않으며 Go heap을 RSS에 더하지 않습니다. 좁은 분류 구간의 시간을 전체 요청 처리량으로 확대하지 않습니다.

같은 패키지는 riidolaya state-hint-pilot 또는 전용 명령으로 실행할 수 있습니다. 명시적인 로컬 가중치를 읽고 checksum·입력·예산을 확인하며 기존 결과 파일을 덮어쓰지 않습니다. 실행 예와 옵션을 참고하세요. 실제 데이터의 본문과 보고서는 기본 private입니다.

소스·CI·Hub 게시 확인

• 소스6a4c4f9의 CI37422306314는 Linux·macOS·secrets·quality 모두 성공했습니다. 봇 병합 e8ffd580의 소스 tree는474397f3으로 동일합니다.
• 이 시험의 Go CPU 단계는 각OS에서 게시된 가중치로100건씩, 두OS 합계 모델 호출200회를 실제 실행했습니다. 합성 catalog이며 Laya backbone·GPU·학습 단계가 아닙니다. 별도 CI의 native inference 검사를 이100건 시험에 합산하지 않습니다.
• HF 데이터 고정 revision의14파일, 총845,693바이트를 전체 SHA-256으로 다시 읽어 대조했습니다. pilot100-v1 태그를 보존합니다.

CI 성공은 코드·가중치 호환성·재현 검증입니다. 실사용 품질 승인은 아닙니다. 저장소 README의 “CI 검증 중” 문구는 실행 전에 작성된 기록이며, 이 페이지는 이후 완료된 CI를 연결합니다.

적용 경계와 다음 검수

기본 reader·catalog·revision1은 명시적인 합성 fixture입니다. 실제 native reader는0이며 실제 라벨·이모지·상태를 설치하지 않았습니다. 낮은 점수에서도 missing/inactive 라벨 진단을 보존하고 annotation_checked를 분모로 사용합니다. 원본 reader의 capability와 파일럿이 끈 상태 계획을 분리하고, 상태 후보 해석은 unchecked로 남깁니다.

다음은400개 이상의 서로 다른 업무 문맥과 완료를 언급하는 질문·부분 완료·실행 요청·인용의 검수입니다. 실제 원문은 private가 기본이며 허가된 요약·합계나 새 공개 합성 재현만 외부에 공개합니다. 같은 사건의 반복·번역은 같은 family에 묶어 독립 샘플로 세지 않습니다. 이100건은 이미 노출됐으므로 다음 모델 선택의 새 test로 재사용하지 않습니다.

전체 결과 · 측정 범위 · 고정 계획 · 이슈155