JWT Cache Cost Preview KO

JWT 캐시 비용 미리보기

작은 힌트 모델이 실제로 도움이 되는지 판단하기 전에, 같은 일을 반복하는 비용부터 확인했습니다. 이번 별도 Go 실행에서는 서명 확인과 토큰 해석을 안전하게 재사용하면 고정 순서 검색이 빨라졌습니다. 모델·새 학습·GPU·유료 호출은 0회입니다.

확인한 것

원래 판정 160개를 대상으로 매번 파싱하는 경로와 캐시 경로를 비교했습니다. 160쌍 모두 수락 여부, 오류 종류, claims 지문이 서로 같고 이전 원본 결과와도 같았습니다. 이어 같은 요청 4개에 네 대조군을 적용해 3회 반복했고, 48개 탐색이 모두 완료됐습니다.

대조군	요청 4개 × 3회 합계
고정 소스 순서, 캐시 없음	5.141583 ms
고정 소스 순서, 캐시 있음	2.711623 ms
미리 정한 후보 우선, 캐시 없음	2.428458 ms
미리 정한 후보 우선, 캐시 있음	2.593877 ms

고정 순서의 합계는 캐시로 약 1.90배 빨랐습니다. 첫 후보가 맞는 대조군에서는 캐시가 약 6.8% 느렸습니다. 미리 정한 첫 후보 [4, 5, 2, 0]은 결과를 보기 전에 요청 계약에서 정한 값이며 모델의 예측 성능이 아닙니다.

캐시가 하는 일

최대 5칸 배열을 요청·대조군·반복마다 비웁니다. 토큰 전체·공개 키·서명 방식·디코더·소스가 모두 같은 경우에만 인증된 claims를 재사용합니다. audience 배열과 시간 객체는 깊게 복사하고, 후보마다 새 정책 검사를 합니다. 최종 Token.Valid나 정책 결과를 캐시하지 않습니다. 예상 밖 오류·변형·기한 초과는 미확인으로 남기고 탐색을 중단합니다.

고정 순서에서는 요청 4개당 파싱 43회를 인증 파싱 20회와 정책 검사 43회로 바꿨습니다. 첫 후보가 맞으면 파싱은 여전히 20회이며 캐시 적중은 0회라 추가 비용만 생깁니다.

해석의 범위

3회 모두 같은 프로세스에서 160쌍 비교 뒤 실행한 준비 상태 반복입니다. 독립적인 새 작업 48개가 아닙니다. JWT 전체 계보의 이미 노출된 development_validation 요청 4개이며, 2,400개 평가나 새 학습 자료 편입으로 세지 않습니다.

프로세스 전체 최대 RSS는 14,532,608 B, 약 13.86 MiB입니다. 모드별·모델별 메모리는 측정하지 않았습니다. 전체 CPU는 user 29.161 ms + system 8.955 ms, main은 23.256416 ms였습니다. 자식 시작부터 입출력·대기 정리까지는 608.614250 ms로, 순수 시작 비용이나 다른 환경에 적용할 상수가 아닙니다. main은 import 초기화와 출력 직렬화·쓰기를 제외합니다.

캐시 뒤 순서 변경의 이득은 반복마다 달랐고 한 번은 느렸습니다. 특징 추출과 추론까지 감당할 모델 예산이나 Codex 절감은 아직 입증하지 못했습니다. 다음에는 같은 검사 조건에서 BM25·Jaccard 같은 저렴한 비학습 검색을 먼저 비교합니다.

직접 확인하기

Go를 준비한 뒤 저장소 루트에서 저장된 증거를 확인합니다. 원본 JWT API·모델·학습을 다시 실행하지 않습니다.

go run ./experiments/short-claim/next-cohort-jwt-audit/cost-replay

고정 소스와 상세 사용법에는 별도의 새 네이티브 실행 방법도 있습니다. 새 실행은 저장 결과 재생과 구분합니다. 자체 코드·가상 입력은 Apache-2.0, 복사한 JWT 코드는 MIT이며 원 고지를 보존했습니다. SDK 고지를 함께 읽어 주세요.

게시 근거는 확인 후 연결합니다: PR · CI · Hugging Face.