Task Results 54 KO

PDCA54: 파서 행동 요청 한 개를 실제로 비교하기

English

JSONL 기록의 최상위 키를 중복 없이, 최대64개·키당128 UTF-8 byte로 제한하는 새 요청 한 개를 Sol6/Luna low로 각각 두 번 실행했습니다. 네 시도 모두 독립 검사75개를 통과했고 정상 종료와 전체 기본 사용량을 확인했습니다. 75개 테스트나 네 반복을 고유 요청 수에 더하지 않습니다.

결과를 보기 전에 정한 것

계획54은 커밋 063f274f2a3a1776b793447cdb4b51be09a93743에 먼저 고정했습니다. 순서는 Sol6/Luna/Luna/Sol6, 한 번에 하나, 모델 실행120초와 독립 검사45초 한도입니다. 실행기 자체 재시도·resume·fallback은 없습니다. 기존 ChatGPT 로그인만 사용했으며 새 API 키·유료 작업·endpoint는 만들지 않았습니다.

실행기는 이미 CI를 통과한 4373f9f6b20dba922b1cf5309d079e50a4591aeb에서 깨끗하게 빌드했고, 작업 기준과 계약은 공개 ee72334166e2962b0821d5198a50fdd13f92ab29 리비전에 묶었습니다. 이번에 추가한 외부 저장소 검증기는 이 비교에 사용하지 않았습니다.

Laya 예측도 코딩 실행 전에 커밋 5aae164b788c638ad6b9f296b7346567f68cb977에 고정했습니다. 기존 INT8 base, CPU 한 스레드, 임계값0.9에서 standard를 제안했지만 점수 0.610351로 보류했습니다. 설정상 strong/Astra fallback이며 실제 Astra 실행은 없습니다. 차가운 프로세스 한 번의 전체 시간은 1,183ms, 앱 관측1,151.896ms, 최대 RSS 1,508,032,512bytes (약1.51GB/1.40GiB)입니다. native 로딩을 포함하며 warm 지연·Go heap·GPU 자원이 아닙니다. 이 점수는 보정된 성공 확률이 아니고 현재 메모리는 초저자원 목표를 달성하지 못했습니다.

실제 관측

순서	요청 프로필	모델 실행ms	별도 검사ms	입력	입력 중 캐시	출력	출력 중 reasoning	결과
1	Sol6 low	66,431	4,750	163,569	141,568	2,036	48	수용·정상 종료·사용량 확인
2	Luna low	28,981	4,470	78,701	66,304	663	0	수용·정상 종료·사용량 확인
3	Luna low	28,488	4,503	85,762	71,424	665	0	수용·정상 종료·사용량 확인
4	Sol6 low	61,574	4,730	157,577	144,256	1,918	109	수용·정상 종료·사용량 확인

합계 입력485,609에 캐시423,552가 포함되고 출력5,282에 reasoning157이 포함됩니다. 네 모델 실행의 시간 합계185,474ms와 별도 검사18,453ms는 부모 준비 시간을 포함하지 않습니다. Luna의 입력·출력과 관측 실행 시간은 이 요청의 두 반복에서 더 작았습니다. 캐시를 제외한 입력 합계도 Luna26,735, Sol6 35,322입니다. 하지만 구독 사용량, 청구 단가와 공급자의 내부 호출·재시도 수는 미확정이므로 금액 절감 근거가 아닙니다.

원본 수치 기록과 해시는 비공개 실행기의 최종 record.json과 byte 단위로 연결했습니다. 네 실행 모두 자식 프로세스 그룹 정리와 복사한 인증 제거를 확인했고 모델이 작성한 테스트는 수용 판정에 사용하지 않았습니다. 요청 모델은 명확하지만 공급자가 증명한 실제 모델 정체는 unknown입니다. 시도별 소스는 1·4가 같고 2·3은 각각 다릅니다. 같은 계약을 통과했다고 구현까지 모두 같지는 않습니다.

실제 도구에 반영한 것

첫 정상 종료·수용 후보의 pkg/taskoutcome/summary.go를 그대로 반영했습니다. mutable 소스 SHA256은 64bbcfd17d3321b74f1b679142baa79906ded759458a245ade6a546172e7deb5입니다. 키는 event마다 초기화되는 고정 [64]string 배열에만 보관하고, 개수·decoded UTF-8 길이·중복을 확인합니다. nested item은 기존처럼 불투명하게 처리하며 Summary에 알 수 없는 이름·값을 남기지 않습니다. 공유 상태나 lock을 추가하지 않았습니다.

이미 봉인한 외부 패키지 계약 여섯 개를 테스트 이름만 바꿔 runtime 회귀 검사로 복사했습니다. 후보가 작성한 테스트는 가져오지 않았습니다. 독립 리뷰는 원래 type 검증과 최종 missing-type 조건이 같은 의미임을 확인했습니다. 한 입력이 크기·중복 규칙을 동시에 위반할 때의 오류 우선순위는 고정 계약의 평가 범위 밖입니다. 이 변경의 정확성은 라우터의 유용성이나 비용 절감을 증명하지 않습니다.

첫 Linux CI는 포맷만 정규화한 UUID 원본의 API 부재를 컴파일로 검사할 때, 격리를 지원하지 않는 플랫폼도 rejected라고 기대한 테스트 오류를 발견했습니다. 이 환경의 올바른 결과는 verifier_unknown입니다. 해당 플랫폼의 unknown과 macOS의 실제 격리 거절을 각각 확인하도록 테스트를 고쳤습니다. 제품 판정· 고정 명세·파서 실행 수치·원본 파일은 바꾸지 않았습니다.

이어진 macOS CI는 여러 cold 격리 컴파일 검사를 합친 테스트 패키지의 기본 10분 제한에 걸렸습니다. 당시 개별 대조군은 4초째 실행 중이었습니다. CI의 전체 race 테스트 예산만 명시적으로 20분, 테스트 job은 30분으로 제한했습니다. 개별 후보의 검증 45초 기본·60초 최대, 내부 테스트 10초, 출력 제한·격리· 정답 수용 조건은 유지했습니다. 이 변경은 모델의 실행 시간이나 성능 관측이 아닙니다.

규모와 다음 단계

현재 실제 개발 관측은 서로 다른 요청5개·CLI 기록16개·세 코드 가족·한 저장소입니다. 과거 실패·지원 오류·시간 초과는 덮어쓰지 않습니다. 로컬 후보8개와 공개 Go 후보120개는 실행 횟수나 정답 수가 아닙니다. 그120개 중 외부2개에 대해 독립 검증 계약을 준비했지만 외부 모델 실행·학습·final 적격은 아직0개입니다.

24개 개발 시험에서 바로 학습해 일반 성능을 주장하지 않습니다. 여러 저장소에서 독립 검사를 갖춘 개발 요청120개 이상, 학습 신호 확인240개 이상으로 확장하고, 별도로 확보한 주장 영역마다 서로 다른 최종 요청2,400개 이상을 보호합니다. 이미 읽은 요청, 반복·번역·형제 과제를 최종 평가 수로 부풀리지 않습니다. 규모 설명과 확보 계획에 분할과 최소 실행 예산을 기록했습니다. 이번 주기에 학습·보정·새 가중치 배포· 생산 라우팅 활성화·protected final 채점은 하지 않았습니다.