Skip to content

Stored Utility Next 58 KO

teamswyg edited this page Oct 2, 2026 · 1 revision

개선 여지 다음에는 무엇을 준비하나

English · 58 결과 · 사전 계획 · 공개 원천57

58에서 확인한 것은 학습할 이유가 될 수 있는 개선 여지다. 아직 학습할 준비가 끝났다는 뜻은 아니다. 가장 좋은 고정 기준 BM25는 알려진 51개 요청에서 91회, 정답을 미리 아는 oracle은 73회를 확인했다. 차이 18/91, 약 19.7802%로 필요 효용 하한 5%를 통과했다. 원래 순서는 109회, 단어·순서 기준은 92회, 좁은 규칙은 91회였으며 좁은 규칙의 72개 요청 모두 BM25로 복귀했다. 이는 모델이 달성한 개선이나 실제 실행 비용 절감이 아니다.

전체 17그룹·라벨 16그룹도 기존 최소 15 기준을 이미 충족한다. 다음 목표는 좋은 결과가 나온 그룹만 골라 새로 나누거나 숫자를 더 채우는 것이 아니다. 문장이 실제 행동을 충실하게 설명하는지, 다른 작성 원천에서도 통하는지, 어느 자료를 학습·개발 검증·보정에 사용할지를 준비한다.

이 문서는 다음59의 준비 제안이다. 새 실행·라벨·역할 배정·원천 확보·학습·가중치·모델/유료 호출·보호 최종 접근은 모두 0이며 training_ready=false를 유지한다. 현재 fit 0은 준비 조건이 부족해서다. 새 사람 승인 절차를 추가하지 않으며, 이후의 실행 자격 확인은 사전 실행 계획과 자동 검사·CI gate로 진행한다. 기존 사용자 승인 범위와 CI 병합 기준을 유지한다.

준비할 세 가지 산출물

아래 이름은 앞으로 만들 산출물의 제안이며, 이 문서가 그 파일의 생성·검토 완료를 뜻하지 않는다.

제안 산출물 담을 내용 준비 완료 조건 중단·보류 조건
caption-coverage-59.json 기존 72부모·216설명을 원형 18개, 입력 범위, 관측 필드, 원천·literal 계약에 연결 모든 설명의 범위와 근거를 독립 검토하고 누락·모호함을 명시 문장과 계약 불일치, 예산 초과, 지원하지 않는 관측은 보류. 기존 정답을 문장에 맞춰 바꾸지 않음
source-transfer-59.json 이미 확보한57의 semver/glob에서 범위를 좁힌 속성 하나씩의 제안 원본 revision·라이선스·파일/문서·helper 관계와 독립 기대값 설계가 연결됨 권리·closure·문장 충실성·규범과 실제 동작 구분이 해결되지 않으면 실행·라벨 생성 중단
role-recipe-59.json 연결 요소 전체의 개발 학습·개발 검증·개발 보정·외부 원천 전이 진단 배정 규칙 관계 그래프·고정 규칙·seed·역할별 coverage와 부족 시 중단 조건을 실행 전에 고정 연결 요소가 역할을 넘나들거나 coverage가 부족하면 배정·fit 보류. 좋은 점수를 얻으려고 그룹/seed를 다시 선택하지 않음

1. 설명과 행동의 일치부터 확인한다

현재 자료는 답 있음 34·답 없음 17·unknown 21이다. 알려진 51개에도 설명이 짧다는 이유만으로 일반적인 함수 이해를 인증하지 않는다. 각 요청과 후보 설명이 무엇을 요구하고 어떤 입력에서만 검증했는지 함께 읽는다. 반환값뿐 아니라 오류 정체성, 호출 순서, 원자적 상태 반영, 소유권과 입력 불변성 등 해당 원형의 관측을 연결한다. 부정·포함/제외 경계·순서·오류가 문장에 빠지지 않았는지도 확인한다.

검토표에는 원래 부모/후보 ID와 순서, text SHA, contract/source 핀, 명시한 범위, 독립 검토 상태와 남은 불확실성을 기록한다. 검토 과정에서는 58의 순위나 그룹별 이득으로 문장을 고르지 않는다. scorer가 받을 정보는 계속 요청과 순서가 있는 후보 설명뿐이며, ID·정답·원천·그룹·역할·검토 상태는 특징에서 제외한다.

기존 512바이트·정규화 32단어 한도를 유지한다. 이 예산 안에서 정확히 설명하기 어려운 동작을 잘라서 정답으로 만들지 않는다. 더 좁은 속성을 준비한다면 별도 버전과 원래 부모·원천·연결 그룹 관계를 기록한다. 수정 문구·번역·오답·반전 입력은 새 독립 부모가 아니다. 기존56a/b의 문구·라벨·17그룹과 unknown 21은 그대로 보존한다. 판단 보류는 오답이나 답 없음으로 바꾸지 않는다.

2. 다른 작성 원천으로의 전이를 작게 준비한다

현재 72개는 한 협업 합성 작성 흐름의 영어 자료다. 다른 에이전트가 검토했다는 사실만으로 synthetic_single_pipeline이 해소되지는 않는다.57에서 이미 원본 코드·문서·MIT 고지를 확보한 두 원천을 활용하여, 프로젝트 이전부터 존재한 작성 근거와 이번에 만든 문구를 구분한다.

기존 공개 원천 다음에 준비할 속성 제안 유지할 경계
Masterminds/semver 고정 원문, 파싱 문서 명시한 유한 입력에서 strict parsing과 느슨한 버전 보정의 차이를 설명하는 속성 permissive NewVersion과 strict 계약을 섞지 않음. 새 API를 실행하려면 별도 관측 계획부터 고정
doublestar 고정 원문, Match 문서 지정한 / 경로에서 *와 /**/의 디렉터리 범위 차이 전체 glob 문법 인증이나 플랫폼별 PathMatch 성능으로 확대하지 않음

원본 문서의 위치·바이트와 새 caption의 작성 흐름을 별도로 연결하고 기존 원천 manifest의 revision·파일 SHA·module·MIT 저작권/고지를 유지한다. 구현을 복사해 expected를 생성하지 않고, 공개 범위의 독립 literal 기대값과 지원/unknown 정책을 먼저 설계한다. 문서에서 가져온 짧은 표현만으로 완전한 계약이라고 단정하지 않는다.

이는 두 scoped proposal이며 새 부모·truth·허용 집합은 아직 0이다.57의 62관측을 62요청으로 바꾸거나, 같은 helper를 사용하는 wrapper를 별도 가족으로 세지 않는다.57에서 확인한 큰 숫자 비교 차이와 더 강한 glob 오류 정책도 보존한다. 규범적 기대·실제 API 동작·더 강한 요청 정책을 구별해야 한다. 외부 원천이라는 이유만으로 합성 원형과의 관계를 끊지 않는다.

첫 범위는 짧은 영어 요청과 영어 후보 설명의 Go 유한 행동 힌트로 좁힌다. 이 한국어 문서는 설명용 번역이며 한국어 모델 입력의 성능 시험이 아니다. 한국어 입력이나 더 넓은 자연어를 다루려면 별도의 문장 충실성·예산·효용 계획이 필요하고, 같은 요청의 번역은 같은 연결 그룹에 둔다. 두 원천이 전체 공개 Go 생태계의 다양성을 대표한다는 주장도 하지 않는다.

3. 역할은 연결 요소 전체에 배정한다

58의 순위·점수·그룹별 비용은 이미 관측했다. 앞으로 membership SHA와 seed 규칙을 고정하는 목적은 결과가 유리한 그룹이나 seed를 골라 배정을 바꾸는 일을 막는 것이다. 이전 자료를 보지 않았던 상태로 되돌리거나 블라인드 검증을 복원하는 장치가 아니다.

같은 원형·핵심 동작·복사 코드·자체 작성 helper/타입/오류 sentinel·중복 요청/후보·오답·부모/형제·번역을 전이적으로 연결한다. 표준 라이브러리와 관측 기반의 기존 infrastructure 예외는 이유와 원천 핀을 보존하며, 그룹 수를 늘리려고 새로운 예외를 만들지 않는다. 전체 component의 정렬된 membership과 source 관계로 안정적인 SHA를 만들고, 같은 component는 항상 같은 역할을 갖는다.

역할은 development_train, development_validation, development_calibration, transfer_development 같은 개발 용도로 구분한다. 규칙과 고정 seed, 역할별 필요한 행동·문장 형태·언어 coverage, 자료 부족 시 중단 조건을 먼저 작성한다. 이미 본 자료를 새 역할 이름으로 미관측 검증이나 protected final이라고 부르지 않는다. 실제 배정 수는 관계와 coverage를 검증한 뒤 기록하며, 지금 비율이나 역할 수를 확보 결과로 적지 않는다.

unknown-only component도 관계 그래프와 전체 분모에 남긴다. unknown 21은 학습 정답·비용·Top 지표에 넣지 않고, 알려진 부모가 있는 그룹과 구분한다. 여러 역할의 coverage가 충분하지 않으면 규모나 하한을 낮추지 않고 필요한 실제 원천을 더 준비한다. 같은 작성 흐름의 통계적 독립성을 seed로 보증하지 않는다.

그다음에야 학습 실행 계획을 만든다

세 준비 산출물과 독립 내용 검토가 끝나면, 별도 계획에 데이터/원천/그룹/역할 SHA, 기준 방식, 효용·품질·보류 조건, 메모리·저장 예산, fit 횟수와 배포 자격을 고정한다. 이 문서는 새 fit 횟수나 실행을 승인하지 않는다. 여기서 실행 자격 확인은 기존 사용자 승인 범위 안의 자동 검사·CI 기준 충족을 뜻하며 새 사람 승인 절차가 아니다.

  1. FP32 주 후보: 작은 계수 모델부터 개발 비교를 시작하는 안이다. 실제로 학습된 기준 checkpoint와 같은 역할·입력·후보 보존 조건을 기록한다. 준비 단계에서 적합성이나 성능을 보장하지 않는다.
  2. INT8/PTQ child: 같은 FP32 checkpoint의 압축 파생물로 연결한다. 별도의 새 독립 학습이나 데이터 확보로 세지 않고, 순위·품질·보류와 실제 runtime 자원을 따로 대조한다.
  3. 삼진 STE sibling: 동일한 데이터와 역할에서 별도 최적화를 하는 형제 실험으로 둔다. FP32/INT8의 결과를 대신하거나 1.58-bit 표현만으로 전체 메모리·CPU/GPU 개선을 주장하지 않는다. fit·seed·artifact 수는 요청 수와 구분한다.

현재 no_roles_plan·synthetic_single_pipeline과 fit 0을 유지한다. 실패·unknown·재시도·전체 후보를 보존하며, 필요 조건이 충족되지 않으면 준비 또는 학습을 중단한다. 운영 활성화·기본 모델 교체·새 HF 가중치 공개는 이번 범위에 없다. 이후 실제 가중치가 생기더라도 원천/학습 자산/가중치 라이선스와 배포 자격을 따로 확인하고, 모델 본체는 Git에 넣지 않는다.

도메인별 서로 다른 보호 최종 요청 최소 2,400개는 일반화·최종 효용 주장을 위한 별도 목표다. 모든 개발 fit의 선행 최소 수라는 뜻은 아니다. 기존 protected final/CoSQA reserve를 읽거나 재배정하지 않으며, 반복·문구 변형·번역·모델 계보로 최종 수를 채우지 않는다. 이번 다음 계획 문서 작성은 새로운 실행·CI 완료·자료 확보·학습 성과가 아니다.

Clone this wiki locally