Interaction Score Inspection

모델의 선택 점수와 실제 결과

확인: 2026-10-11 KST. SDK 0.2.39 모델의 원래 저장 기록을 다시 읽은 분석입니다. 학습·예측·프로그램 실행을 추가로 하지 않았습니다.

모델은 두 선택에 점수를 매기고 높은 쪽을 먼저 시도합니다. 이 점수는 후보를 줄 세우는 값입니다. 실제로 맞을 확률로 사용하려면 별도의 자료에서 그 관계를 확인해야 합니다.

저장된 실패 네 개에서 확인한 것

원래 실험의 지원 범위 내 평가 문서 64개 중 첫 후보가 모든 요구를 만족한 문서는 60개였습니다. 실패한 네 개는 영문 분기 설명과 변수 대입을 함께 사용한 문서입니다. 이번에는 그 기록의 분기 선택 점수를 살펴봤습니다.

아래 r, g, c는 각각 원래 소스의 반환 순서·출력 목표·중간 조건 목표를 구분하는 번호입니다. 점수 차이는 두 원래 logit의 차이에 절댓값을 취한 값입니다.

실패 문서의 조합	첫 번째 선택 점수	두 번째 선택 점수	점수 차이
r0 / g1 / c0	1.3972	-2.4189	3.8160
r0 / g1 / c1	-0.4112	0.3227	0.7339
r1 / g0 / c0	3.5080	-4.0136	7.5216
r1 / g0 / c1	-1.2799	1.6728	2.9527

성공한 60개의 점수 차이는 약 0.602317.7944, 실패한 네 개는 0.73397.5216입니다. 이 기록에는 점수 차이가 큰 실패와 작은 성공이 함께 있습니다. 점수 차이만으로 실제 후보 검사를 생략할 근거는 확보되지 않았습니다. 특정 임계값을 이 결과에 맞춰 고른 뒤 새 성적으로 보고하지 않습니다.

Gooo는 추천한 후보를 작성된 출력·중간 조건에 대입해 확인하고, 실패하면 정해진 예산 안에서 다음 후보를 확인합니다. 원래 실험의 80개 문서는 최종적으로 작성된 사례를 모두 충족했습니다. 처음 추천의 성공 여부, 탐색 후 충족 여부, 아직 관측하지 않은 입력 범위를 각각 기록합니다.

다음 모델 개선에서 볼 것

한영 표현과 같은 의미의 소스 형태를 평가 전에 나눠 고정하고, 문장·대입 방식이 달라졌을 때 선택이 얼마나 흔들리는지 확인합니다. 이번 분석으로 원인이 특정 특징 하나라고 결론내릴 수는 없습니다. 새 모델을 만들 때는 이미 살펴본 이 64개와 새 평가 자료를 구분하고, 확률을 표시하려면 별도의 검증 자료에서 점수와 실제 성공 빈도를 비교하겠습니다.

전체 64개 행·분석식·입력 식별값을 공개합니다. 반올림 전 점수와 실패도 그대로 남아 있습니다.

모델 받기와 사용 범위.