Skip to content

Releases: koul777/NCScope

Release list

NCScope v1.4.12 — 평가 무결성과 운영 안정성 강화

NCScope v1.4.12 — 평가 무결성과 운영 안정성 강화 Latest
Latest

Choose a tag to compare

View all tags
@koul777 koul777 released this 26 Aug 14:35
v1.4.12
57352c7

NCScope v1.4.12 — 평가 무결성과 운영 안정성 강화

NCScope v1.4.12는 공공기관 채용공고문과 NCS 직무기술서의 안정적인 파싱,
세분류 평가 무결성, 런타임 검증 및 의존성 보안을 강화한 운영 릴리스입니다.

주요 변경 사항

역할별 AI 모델 오케스트레이션

하나의 사용자 OpenAI API 키로 역할별 모델을 분리했습니다.

  • gpt-5.6-luna: NCS 후보 재정렬
  • gpt-5.6-terra: 면접 질문 초안 생성
  • gpt-5.6-sol: 독립 품질검수와 실패 슬롯 재생성

실제 사용 모델과 실행 결과는 응답의 ai_model_orchestration과 품질검수 정보에
기록됩니다. 사용자 API 키는 요청 처리에만 사용하며 브라우저 저장소, 파일 또는 DB에
저장하지 않습니다.

문서 파싱 안정성 강화

  • 손상된 ZIP/HWP/PDF와 지원하지 않는 ZIP 방식을 예측 가능한 422 오류로 처리합니다.
  • HTML·Markdown 표, 문서 길이와 세분류 후보 수에 구조 예산을 적용했습니다.
  • 요청 시간 초과 이후에도 실제 중첩 작업이 끝날 때까지 동시성 슬롯과 MCP 세션을
    유지합니다.
  • 저장 직무기술서 206/206 파싱 및 555/555 KSA 조회를 통과했습니다.
  • 직전 정상 실행과 비교한 비타이밍 필드 변경은 0건입니다.

평가 데이터 누출 방지 및 런타임 증명

  • 같은 공고의 모든 첨부 문서를 하나의 connected component로 묶어 validation과
    holdout 사이의 공고 단위 누출을 방지합니다.
  • 세분류명과 8자리 코드뿐 아니라 (세분류명, 코드) 쌍을 함께 채점합니다.
  • 원시 파싱 응답과 Python·Node bridge·패키지 잠금파일·배포 설정을 runtime
    attestation v2로 검증합니다.
  • 각 응답에서 실제 parser execution identity와 Kordoc·Node 버전을 확인하며,
    불일치하면 fail-closed로 중단합니다.

검증 결과

현행 공식 세분류 평가

2026년 8월 25일 캡처한 공정채용 게시판의 신규 20개 공고·68개 직무기술서를 모두
파싱했습니다.

지표 결과
파싱 성공 68/68
현행 공식 세분류 평가 문서 57
세분류명 F1 99.69%
세분류 코드 F1 100%
(명칭, 코드) 쌍 F1 100%
문서 exact 98.25%
현행 공식 holdout 문서 21
holdout 세분류명 F1 99.44%
holdout 코드·쌍 F1 100%
holdout 문서 exact 95.24%

동일 머신의 순차 loopback 파싱은 10.91 MiB를 53.08초에 처리했으며 문서당 평균
781ms, p50 675ms, p95 1.49초였습니다. 이 수치는 로컬 파서 실행시간이며 Vercel
네트워크 응답시간은 아닙니다.

회귀·보안 검증

  • 전체 회귀 테스트: 5,167 passed, 72 skipped
  • Ruff: 통과
  • 운영·개발 Python requirements의 알려진 취약점: 0건
  • npm high 또는 critical 취약점: 0건
  • GitHub Actions 릴리스 검증: 통과

정확도 수치 해석 시 주의

이번 평가 기준표는 서로의 답을 보지 않은 두 AI 에이전트의 독립 검토와 별도 AI
중재로 만들었습니다.

  • 68건 중 65건: 두 검토자의 exact consensus
  • 3건: 제3자 AI 중재
  • 평가 기준: independent_ai_agent_adjudicated_reference_not_human_gold
  • human_gold_accuracy_available=false
  • human_gold_eligible=false

따라서 위 정확도는 사람 골드셋 정확도가 아닙니다. 현재 source packet은 점수 계산
경로와 같은 Kordoc 추출 계열을 사용합니다. 독립 렌더링/OCR 채널과 실제 사람의
교차검증·조정이 추가되기 전까지는 AI adjudicated reference 기반 회귀·운영 진단으로만
해석해야 합니다.

알려진 제한 및 후속 작업

운영 헬스, runtime policy와 PDF 텍스트 폴백 smoke를 통과했습니다. 개인정보가 없는
합성 PDF를 사용한 추가 검증에서도 Kordoc 4.9.1이
authenticated_serverless_bridge와 Vercel deployment identity로 실행됐고, parser
execution과 runtime attestation의 bundle SHA-256이 일치했습니다. 따라서 운영 브리지
전체 장애의 증거는 없습니다. 다만 로컬 Kordoc에서 처리되던 특정 복잡 PDF 한 건이
Vercel 운영 환경에서 422를 반환한 문서별 호환성 사례가 있습니다.

해당 문서를 조용히 추정 결과로 대체하지 않고 사용자에게 파싱 실패를 명시합니다.
문서별 Kordoc 호환성 원인 분석은 후속 작업으로 추적합니다.

배포 정보

  • Vercel Production: dpl_pgLgEQUZPx219AWCScsj6xK157YJ
  • Runtime bundle:
    888689cca5ffd29a05da39c7d6f4f86af6e609584ff675fcbb5db6ed26259efa

변경 알림을 받으려면 저장소에서 Watch → Custom → Releases를 선택하세요.
커밋·이슈·Pull Request까지 포함한 모든 활동은 Watch → All Activity로 구독할 수
있습니다.

Assets 2
Loading

NCScope serving DB v0.1.0 (2026-07-23)

NCScope serving DB v0.1.0 (2026-07-23)

Choose a tag to compare

View all tags
@koul777 koul777 released this 22 Jul 20:14
ncscope-db-v0.1.0-20260723
9d94c8c

NCScope MVP serving DB artifact.

Use this DB with the separate NCS_MCP read-only server. Do not commit the DB into the NCScope app repository.

Assets:

  • ncs_interview_serving_release.db (117,108,736 bytes)
  • ncs_interview_serving_release.json

DB SHA-256:
f9bb59b8853e8f69dc4698028ec347ed9bd74d26133fbceb031b05fd90f89b23

Recommended runtime:

  • Set NCS_DB_PATH to the downloaded DB path.
  • Set NCS_MCP_READ_ONLY=1.
  • Start NCS_MCP, then set NCScope NCS_MCP_URL to the MCP endpoint.
Loading