Replies: 1 comment
-
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
정보 이론 관점에서 본 XML 기반 문서 표준의 한계
ODF, OOXML, HWPX와 멀티모달 AI 시대의 차세대 문서 형식에 관한 고찰
저자: Edward Kim
이메일: tangokorea@gmail.com
작성일: 2026년 4월 25일
초록
본 논문은 ODF(ISO/IEC 26300), OOXML(ISO/IEC 29500), HWPX(KS X 6101) 등 현대의 주요 사무 문서 표준이 공통적으로 채택하고 있는 XML 기반 직렬화 패러다임의 한계를 정보 이론(information theory) 관점에서 비판적으로 분석한다. 섀넌(Shannon)의 정보 엔트로피, 콜모고로프 복잡도, 조건부 엔트로피, KL 다이버전스, 그리고 채널 용량 개념을 문서 형식의 효율성 평가에 적용함으로써, 현행 XML 기반 표준들이 의미 정보 대비 표현 비트 수의 비율에서 정보 이론적 최적 한계로부터 크게 벗어나 있음을 보인다. 또한 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)의 등장이 문서 형식의 평가 기준 자체를 변경시키고 있으며, 멀티모달 시대의 차세대 문서 표준은 텍스트 기반 마크업이 아닌 의미 정규형(canonical semantic form)과 채널 적응적 인코딩의 분리를 핵심 원리로 채택해야 함을 주장한다.
주제어: 정보 엔트로피, 문서 표준, OOXML, ODF, HWPX, 콜모고로프 복잡도, 멀티모달 AI, 채널 부호화
1. 서론
The Document Foundation의 Italo Vignoli는 2026년 2월 발표한 글에서 OOXML이 명목상으로는 ISO/IEC 29500 표준이지만 실질적으로는 Microsoft의 독점 형식 사양이라는 점을 비판하였다 [1]. 이 논의는 표준화의 정치경제학적 측면에 집중되어 있으나, 본 논문은 한 걸음 더 나아가 동일한 비판을 정보 이론의 정량적 언어로 재구성하고자 한다.
사무 문서 표준에 관한 기존 논의는 대체로 (i) 표준화 절차의 정당성, (ii) 벤더 종속성, (iii) 호환성과 상호운용성이라는 세 축에 머물러 왔다. 그러나 멀티모달 AI 모델이 문서 처리의 주요 소비자로 자리 잡기 시작한 2026년 시점에서는, "정보가 얼마나 효율적으로 부호화되는가"라는 정보 이론적 질문이 더 근본적인 평가 척도가 되어야 한다. 본 논문은 다음 세 가지 주장을 제시한다.
2. 배경: 사무 문서 표준의 현황
ODF는 2006년 OASIS에 의해 ISO/IEC 26300으로 표준화된 XML 기반 문서 형식이며, OOXML은 2008년 Microsoft 주도로 ISO/IEC 29500으로 패스트트랙 승인되었다. 한국의 HWPX는 한글과컴퓨터의 HWP 형식을 XML 기반으로 개정하여 KS X 6101로 표준화한 형식이다. 세 형식 모두 ZIP 컨테이너 내부에 다수의 XML 파일과 보조 자산(이미지, 폰트 등)을 배치하는 동일한 아키텍처를 따른다.
세 표준은 표준화 거버넌스, 사양의 개방성, 구현 가능성에서 서로 차이를 보이지만, 직렬화 형식으로서 XML을 채택했다는 공통점은 본 논문의 분석에서 핵심이다. 이 공통점은 본질적으로 정보 이론적 한계를 공유한다는 의미이기 때문이다.
3. 정보 이론적 분석 틀
3.1 섀넌 엔트로피와 부호 길이의 하한
이산 확률 변수 X에 대한 섀넌 엔트로피는 다음과 같이 정의된다.
섀넌의 소스 부호화 정리는 손실 없는 부호화의 기댓값 길이가 *H(X)*보다 작을 수 없음을 보장한다. 따라서 어떤 문서 형식의 정보 효율성은 다음과 같이 정의될 수 있다.
여기서 M은 문서의 의미 정보,$\mathrm{Enc}_F$ 는 형식 F의 인코더, $|\cdot|$ 는 비트 길이이다. $\eta$ 가 1에 가까울수록 형식은 정보 이론적으로 최적이다.
3.2 콜모고로프 복잡도와 표현의 하한
알고리즘적 정보 이론에서 객체 x의 콜모고로프 복잡도 *K(x)*는 보편 튜링 기계 위에서 x를 출력하는 최단 프로그램의 길이로 정의된다. 문서가 본질적으로 보유한 정보량의 절대적 하한은 *K(x)*이며, 어떤 형식도 이 하한 아래로 표현할 수 없다. 잘 설계된 형식이라면$|\mathrm{Enc}_F(x)|$ 와 *K(x)*의 격차가 작아야 한다.
3.3 조건부 엔트로피와 잉여
직렬화된 토큰 시퀀스$T = t_1 t_2 \ldots t_n$ 에 대해 조건부 엔트로피 $H(t_i \mid t_{<i})$ 가 0에 가까운 토큰은 정보 이론적 잉여를 의미한다. 이러한 토큰은 산술 부호화 등을 통해 거의 0 비트로 압축될 수 있으며, 이는 원본 표현이 비효율적임을 직접적으로 시사한다.
3.4 KL 다이버전스와 형식 적합성
표현하려는 의미 분포 P와 형식이 자연스럽게 표현하는 분포$Q_F$ 의 KL 다이버전스
는 형식의 의미 적합성에 대한 척도이다. 이 값이 작을수록 형식은 표현하려는 정보의 자연스러운 채널이 된다.
4. XML 기반 문서 형식의 엔트로피 분석
4.1 마크업 잉여와 조건부 엔트로피
OOXML의 전형적인 단락 표현$H(t_i \mid t_{<i}) \approx 0$ 인 토큰의 비율이 매우 높다. 닫는 태그
<w:p><w:r><w:t>안녕</w:t></w:r></w:p>에서 의미 정보 "안녕"은 두 글자에 불과하나, 둘러싼 마크업은 그 수십 배에 이른다. 이러한 마크업의 대부분은 문맥상 결정론적으로 예측 가능하며, 따라서</w:p>는 여는 태그와 거의 완전한 상호 정보량을 가지므로 정보 이론적으로 잉여이다.4.2 압축률에 의한 경험적 검증
DEFLATE 알고리즘(LZ77 + 허프만)은 점근적으로 엔트로피 한계에 접근한다. 일반적인 DOCX 및 ODT 파일은 ZIP 컨테이너 내부의 XML이 압축본 대비 5배에서 20배에 이르는 부피를 갖는 것이 관찰된다. 잘 설계된 형식이라면 압축 후 크기 감소가 작아야 정상이다. 큰 압축률 자체가 원본 표현의 정보 이론적 비효율성을 뒷받침하는 경험적 증거이다.
4.3 콜모고로프 복잡도 격차
"동일 스타일의 단락 100개"라는 문서를 가정하자. 이 문서의 콜모고로프 복잡도는 매우 낮으며, 사실상 "100회 반복"을 표현하는 짧은 프로그램으로 기술 가능하다. 그러나 OOXML 직렬화에서는 단락마다 동일한 스타일 참조가 반복되거나 명시되며, 결과적으로$|\mathrm{Enc}_{\mathrm{OOXML}}(x)| \gg K(x)$ 의 큰 격차가 발생한다. 이는 형식이 추상화·재사용·차분 표현을 1급 시민으로 다루지 못한다는 구조적 한계를 시사한다.
4.4 의미 분포와 KL 다이버전스
현대 문서의 실제 의미 구조는 단순한 트리가 아니라 다음과 같이 구성된다.
XML의 트리 구조는 이러한 분포에 대해 큰 KL 다이버전스를 발생시키며, 정보가 자신의 자연스러운 채널을 통하지 못하고 우회 경로로 인코딩되면서 추가적인 잉여가 누적된다.
5. AI 모델과 문서 형식의 재평가
5.1 산술 부호화로서의 언어 모델
언어 모델은 본질적으로 조건부 분포$p(t_i \mid t_{<i})$ 의 추정기이며, 산술 부호화 정리에 의해 충분히 정확한 확률 모델은 곧 최적 압축기이다. 신경망 기반 압축기 NNCP, ts_zip 등은 이미 gzip을 큰 폭으로 능가한다. 충분히 강력한 LLM의 관점에서 OOXML의 마크업은 거의 0 비트의 정보를 담고 있으며, 따라서 형식 자체의 잉여는 모델 내부에서는 큰 비용이 아니다.1
5.2 유한 컨텍스트 윈도우의 제약
그러나 현실의 모델은 유한한 컨텍스트 윈도우 N을 가진다. 문맥에 포함된 토큰의 실효 엔트로피 밀도(bits per token)가 낮을 경우, 모델의 추론 효율이 직접적으로 저하된다. 이는 OOXML 원본을 컨텍스트에 직접 주입하는 방식이 비효율적인 이유를 정량적으로 설명한다.
5.3 멀티모달 모델과 채널의 다변화
VLM(시각-언어 모델)은 A4 한 페이지 분량의 문서 이미지를 약$10^3$ 수준의 비전 토큰으로 인코딩한다. 동일 페이지의 OOXML 직렬화가 흔히 $10^4$ 토큰 이상에 달한다는 점을 고려하면, 멀티모달 채널을 통한 인코딩이 텍스트 채널을 통한 인코딩보다 한 자리수 이상 효율적인 경우가 일반적이다. 이는 문서 형식의 평가 기준이 단일 채널(텍스트)에서 다중 채널(텍스트, 비전, 오디오, 임베딩)로 확장되어야 함을 시사한다.
5.4 소스-채널 분리의 원리
섀넌의 소스-채널 분리 정리는 정보의 압축(소스 부호화)과 전송(채널 부호화)이 점근적으로 분리 가능함을 보장한다. 동일한 원리를 문서 형식에 적용하면, 의미 표현의 정규형(canonical form)과 채널별 적응적 인코딩을 분리하는 설계가 정보 이론적으로 정당화된다. 단일 직렬화 형식으로 모든 소비 채널을 서비스하려는 현행 패러다임은 이러한 분리의 이점을 포기한 설계이다.
6. 차세대 문서 표준을 위한 다섯 가지 원칙
이상의 분석을 종합하면, 정보 이론적으로 정당화 가능한 차세대 문서 표준은 다음의 다섯 가지 원칙을 만족하여야 한다.
(P1) 콜모고로프 근접성. 직렬화 길이는 콜모고로프 복잡도 *K(문서)*에 점근적으로 근접해야 하며, 추상화·참조·차분 표현이 형식의 1급 시민이어야 한다.
(P2) 조건부 엔트로피 최소화.$H(t_i \mid t_{<i}) \approx 0$ 인 잉여 토큰을 구조적으로 제거해야 한다.
(P3) 의미 분포 일치. 표현 공간은 실제 의미 분포(DAG, 시계열, 협업 그래프, 멀티모달 임베딩)와 KL 다이버전스가 작은 자연스러운 채널이어야 한다.
(P4) 소스-채널 분리. 의미 정규형과 채널별 인코딩이 분리되어, 사람의 눈, LLM, VLM, 음성 합성기, 검색 인덱서 등 다양한 채널에 적응적으로 대응할 수 있어야 한다.
(P5) 모달리티 최적성. 멀티모달 자산은 각자의 영역에서 엔트로피 최적 형식(학습 기반 이미지 코덱, 양자화된 임베딩, 토큰화된 텍스트 등)으로 저장되어야 하며, 단일 마크업 형식으로 환원되어서는 안 된다.
7. 결론
ODF, OOXML, HWPX는 모두 1990년대 후반에서 2000년대 초반의 채널 가정 — 종이, 데스크톱 화면, XML 도구 체인 — 에 최적화된 형식이다. 이들이 공유하는 XML 기반 직렬화 패러다임은 콜모고로프 복잡도와의 큰 격차, 높은 비율의 조건부 엔트로피 0 토큰, 트리 구조 강제로 인한 KL 다이버전스 증가라는 정보 이론적 비효율성을 구조적으로 내포한다.
표준화의 정치적 정당성이나 벤더 중립성은 분명히 중요한 가치이지만, 멀티모달 AI 모델이 문서의 주요 소비자로 자리 잡는 시점에서는 이러한 가치만으로는 충분하지 않다. 본 논문이 제시한 다섯 가지 원칙(P1–P5)은 차세대 문서 표준의 설계가 정치적 합의 이전에 정보 이론적 최적성에 근거해야 함을 강조한다.
섀넌의 언어로 표현하자면, 현행 XML 기반 문서 표준들은 정보를 전달하는 형식이라기보다 정보를 매장하는 형식에 가깝다. 차세대 표준은 이 매장을 멈추고, 의미를 그 자연스러운 채널로 흘려보내는 일에 헌신해야 할 것이다.
참고문헌
부록 A. 5.1절에 대한 일반 독자용 해설
본 부록은 본문 5.1절의 핵심 주장 — 언어 모델 관점에서 OOXML 마크업이 거의 0 비트의 정보를 담고 있으며 형식 자체의 잉여가 모델 내부에서 큰 비용이 아니라는 점, 그리고 이것이 5.2절의 유한 컨텍스트 윈도우 제약과 결합될 때 어떤 의미를 갖는지 — 을 일반 독자를 위해 비유적으로 풀어 설명한다. 학술적 논의에 익숙한 독자는 본 부록을 건너뛰어도 무방하다.
A.1 핵심 주장의 일상어 번역
이것이 본문 5.1절 전체의 요지이다. 이제 세 개의 비유를 통해 풀어본다.
A.2 비유 1 — 눈치 빠른 친구와의 대화
평생 같이 산 단짝 친구가 있다고 해 보자. 카페에서 "나 그거..."라고만 말해도 친구는 "아메리카노 톨 사이즈 따뜻한 걸로?"라고 알아듣는다. 반면 처음 만난 사람에게는 모든 것을 또박또박 다 말해야 한다.
언어 모델은 인터넷의 글을 수조 단어 학습한 "눈치가 어마어마하게 좋은 친구"이다. 다음에 무슨 단어가 올지 확률적으로 짐작하는 능력이 매우 뛰어나다. 본문에서 말하는 조건부 분포 추정기라는 표현이 바로 이것을 가리킨다 — 앞에 나온 말을 보고 다음 말이 무엇일지 확률로 예측하는 기계라는 뜻이다.
A.3 비유 2 — 압축은 곧 잘 예측하기이다
여기서 한 단계 도약이 필요하다. 잘 예측한다는 것과 잘 압축한다는 것은 사실 같은 일이다. 이 부분이 일반 독자에게 가장 받아들이기 어려운 지점인데, 다음과 같이 생각하면 직관적이다.
스무고개 게임을 한다고 하자. 상대가 마음속에 답을 정해두고 질문으로 맞혀야 한다. 만약 상대를 잘 알아서 "이 사람은 동물을 좋아하니까 답이 동물일 확률이 90%"라고 생각한다면, 첫 질문 한 번에 거의 맞힐 수 있다. 적은 질문 수 = 적은 비트 수로 답에 도달하는 것이다. 반대로 상대를 전혀 모르면 스무고개를 다 써도 못 맞힌다.
핵심: 상대를 잘 알수록(=잘 예측할수록) 정보를 얻는 데 필요한 질문 수가 줄어든다. 정보 이론에서 말하는 산술 부호화 정리가 정확히 이것을 수학적으로 증명한 것이다 — 예측이 정확할수록 필요한 비트 수가 줄어든다는 정리이다. 그래서 NNCP나 ts_zip 같은 신경망 기반 압축기가 gzip(전통적인 압축 도구)을 큰 차이로 이긴다. 신경망이 다음 글자를 훨씬 더 잘 예측하기 때문이다.
A.4 비유 3 — 정형화된 양식과 자유 작문
이제 OOXML로 넘어가자. 동사무소에서 주민등록 등본을 떼는 상황을 상상해 보자. 양식은 다음과 같다.
이 양식을 100장 떼어 늘어놓으면 "성명:", "주민등록번호:", "주소:" 같은 글씨가 100번 반복된다. 그러나 양식만 봐도 다음에 무엇이 올지 안다. "성명:" 다음에는 이름이 오고, 그 뒤에는 반드시 "주민등록번호:"가 온다. 이 반복되는 양식 글자들이 바로 OOXML의 마크업 태그(
<w:p>,<w:r>같은 것)이다.양식을 잘 아는 사람에게는 이 반복되는 글자들이 거의 정보가 없는 것과 같다. 사실상 봐도 그만 안 봐도 그만이다. 진짜 정보는 빈칸에 채워진 "홍길동", "990101-1234567" 같은 부분에만 있다.
본문이 "OOXML의 마크업은 거의 0 비트의 정보를 담고 있다"고 말하는 것이 이 의미이다. 언어 모델이 보기에 OOXML 태그들은 동사무소 양식의 인쇄된 글자 같은 것 — 너무 뻔해서 정보라고 부를 가치가 없는 것이다.
따라서 본문 5.1절의 마지막 문장 "형식 자체의 잉여는 모델 내부에서는 큰 비용이 아니다"는 다음을 의미한다: OOXML이 아무리 부풀려져 있어도, 충분히 똑똑한 언어 모델 입장에서는 그 부풀려진 부분이 이미 다 아는 양식 글자에 해당하므로 처리하는 데 실제 부담은 거의 없다.
A.5 미묘한 반전 — 5.2절과의 연결
그런데 본문은 다음 절(5.2 유한 컨텍스트 윈도우)에서 곧바로 비틀어 말한다 — "그러나 현실은 다르다"고. 언어 모델이 한 번에 읽을 수 있는 양에는 한계가 있는데, 그 제한된 공간을 양식 글자가 잡아먹으면 정작 빈칸에 적힌 진짜 정보를 충분히 못 읽는 문제가 생긴다. 시험 시간이 제한되어 있는데 양식을 읽는 데 시간을 다 써버리는 것과 비슷한 상황이다.
쉽게 말해, 잘 아는 사람과 대화할 때는 인사말을 길게 해도 상관없지만, 회의 시간이 5분밖에 없는데 인사만 4분 하면 정작 할 말을 못 한다 — 그런 이야기이다.
© 2026 Edward Kim · tangokorea@gmail.com · 작성일: 2026년 4월 25일
Footnotes
본 절의 주장에 대한 일반 독자용 비유적 해설은 부록 A를 참조하라. ↩
Beta Was this translation helpful? Give feedback.
All reactions