2주차 과제 (Pre-training of LLM)

[jaehoon-oh]

이번 주 수업과 관련된 논문 1편(서베이 제외)을 골라 읽고, 이 글의 댓글(Comment)로 논문 리뷰를 제출하세요. 한국어로 한 페이지 내외 분량으로 작성합니다.

• 제출 위치 : 이 글 아래의 댓글
• 제출 형식 : 댓글 본문에 직접 작성
• 제출 기한 : 10월 1일 (목) 23:59

작성 방법

아래 양식을 복사해 댓글에 작성하세요. 논문의 내용을 요약하는 데 더해, 자신이 이해한 근거와 비판적 판단을 담습니다.

본인 이름: 

## 논문 정보
- 제목:
- 저자 / 연도 / 학회·저널 (arXiv에만 올려져 있는 논문은 제외): 
- 원문 링크:

## 1. 선정 이유

## 2. 다루는 문제
어떤 문제를 해결, 기존 방법의 한계 등

## 3. 해결 방법과 주요 결과
핵심 아이디어와 방법을 자신의 말로 설명, 저자의 주장을 뒷받침하는 실험이나 분석 등

## 4. 비판적 평가
논문의 강점 및 약점, 추가로 확인하고 싶은 실험이나 질문 등

질문과 토론

다른 학생의 리뷰를 읽고 궁금한 점이나 다른 해석이 있으면 해당 리뷰 댓글의 답글(Reply)로 남겨 주세요. 리뷰 작성자는 자신의 글에 달린 질문에 답하며 토론을 이어갑니다. 질문할 때는 논문의 어떤 주장이나 리뷰의 어떤 대목에 관한 것인지 구체적으로 적어 주세요.

공개 범위

이 저장소는 public이므로 댓글과 답글은 인터넷에 공개됩니다. 학번·연락처 등 개인정보는 적지 마세요. 논문 본문을 복사하거나 번역해 옮기기보다 자신의 말로 작성하고, 원문은 링크로 안내하세요.

[LinkDiscovery]

본인 이름: 신건영

논문 정보

• 제목: From Tokens to Words: On the Inner Lexicon of LLMs
• 저자 / 연도 / 학회·저널 (arXiv에만 올려져 있는 논문은 제외): Guy Kaplan, Matanel Oren, Yuval Reif, Roy Schwartz / 2025 / ICLR 2025
• 원문 링크: https://openreview.net/forum?id=328vch6tRs

1. 선정 이유

최근 거대 언어 모델(LLM; ChatGPT, Claude, Gemini 등)은 텍스트 전처리 단계에서 주로 BPE(Byte-Pair Encoding) 기반의 서브워드 토큰화 방식을 사용합니다. 그러나 이 과정에서 단어의 형태학적 구조가 파괴됩니다. 예를 들어, '사과'라는 단어가 입력될 때 어휘 사전에 따라 '사', '과'로 분리되거나 심지어 자모 단위('ㅅ', 'ㅏ', 'ㄱ', 'ㅗ', 'ㅏ') 수준까지 잘게 쪼개져 토큰화되기도 합니다.

이때 하나의 궁금점이 생겼습니다. 트랜스포머 기반인 LLM은 주변 문맥을 참조하여 '사과'가 먹는 과일인지, 혹은 타인에게 용서를 구하는 행위인지를 구별해 냅니다. 그렇다면 이처럼 형태소가 파편화된 subword 토큰 형태로 입력되었을 때, 모델은 내부적으로 어떻게 단어의 경계와 본래 의미를 복원하고 문맥을 파악하는지 명확히 와닿지 않았습니다.

이러한 호기심을 바탕으로 관련 연구를 탐색하던 중, "From Tokens to Words: On the Inner Lexicon of LLMs" (ICLR 2025) 논문을 접하게 되었습니다. 본 논문은 여러 토큰으로 나뉜 단어가 트랜스포머 내부 레이어를 거치며 어떻게 하나의 단어를 대변하는 온전한 표상으로 통합(역토큰화, Detokenization)되는지를 체계적으로 분석하고 있어 본 리뷰 대상 논문으로 선정하였습니다.

해당 논문은 여러 토큰으로 나뉜 단어가 모델 내부에서 어떻게 하나의 단어를 나타내는 표현으로 통합되는지 주로 분석합니다.

결론은 LLM 내부에서 기존에 제시된 단어장 이외에 잠재 어휘, 단어장이 존재한다는 것을 밝혔으며, 내부의 어떤 메커니즘이 주로 영향을 미치는지와 어떻게 활용할 것인지에 대해서까지 서술하였음

2. 다루는 문제

어떤 문제를 해결, 기존 방법의 한계 등

현대 LLM은 BPE 토큰화에 의존하기 때문에 빈출 단어가 아니거나 오타가 발생하면 하나의 단어가 여러 서브워드로 쪼개집니다. 기존 연구들은 토크나이저 자체를 언어학적으로 개선하거나 오타에 대한 성능 저하를 분석하는 데 그쳤을 뿐, "모델이 내부적으로 파편화된 토큰들을 어떻게 하나의 유기적인 단어 단위로 재조합하는가"에 대한 심층적인 메커니즘은 충분히 규명하지 못했습니다.

본 논문은 이러한 한계를 해결하기 위해 다음과 같은 단계적 질문을 던지며 실험을 전개합니다.

1) LLM은 일련의 토큰 시퀀스가 '실제 유효한 단어'를 이루는지 인지하는가?

• 모델이 BPE 사전을 넘어 단어와 비단어를 구분하는 '내부 사전'을 보유하고 있을 것이라는 가설
• 단어가 완성되는 마지막 서브워드 토큰 위치에서 두 집단의 은닉 상태가 분리될 것이라는 가설

2) 서브워드로 쪼개진 단어는 hidden states(은닉 상태)에서 어떻게 word identity(단어의 정체성)을 추출할 수 있는가?

• 쪼개진 조각이라도 중간 레이어를 지나면 마지막 토큰 1개 위치에 원래 단어 전체의 표상이 복원될 것이라는 가설
• 오타가 섞이거나 사전에 없는 긴 단어라도 내부에서 온전한 단어로 통합되어 디코딩될 것이라는 가설

3) 트랜스포머의 핵심 부품(어텐션과 FFN)은 단어 조립 과정에서 각각 어떤 역할을 분담하는가?

• FFN 레이어가 모델의 내부 사전(inner lexicon)을 저장하는데 사용될 것이라는 가설
• 모델이 앞선 서브워드 토큰들로부터 정보를 먼저 집약하는 작업부터 착수할 것이라는 가설

4) 이러한 역토큰화 메커니즘을 활용해 실제 모델의 추론 비용을 줄일 수 있는가?

• 모델 내부에서 이미 완성되는 단어 표상을 이용해 추가 학습 없이 어휘 사전을 확장할 수 있을 것이라는 가설
• 다중 토큰 단어를 단일 토큰으로 치환하여 시퀀스 길이를 줄이고 추론 지연 시간을 단축할 수 있을 것이라는 가설

3. 해결 방법과 주요 결과

핵심 아이디어와 방법을 자신의 말로 설명, 저자의 주장을 뒷받침하는 실험이나 분석 등

저자들은 모델이 파편화된 서브워드 토큰들을 하나의 온전한 단어 단위로 통합하는 과정을 '역토큰화(Detokenization)'로 정의하고, 단계적인 분석 기법을 통해 내부 메커니즘을 규명했습니다.

1) LLM의 내부 단어 인지 능력 검증 (단어 vs 유사 비단어 탐침)
사용 데이터: WIKITEXT-103에서 추출한 실제 다중 토큰 단어 1,000개 및 음운 규칙을 모방한 유사 비단어(Pseudo-nonwords) 1,000개 (총 2,000개)
방법: 두 집단을 모델에 입력한 뒤, 레이어별 마지막 토큰의 은닉 벡터(h)를 추출해 k-NN 분류기로 분리도를 측정했습니다.
결과 및 의의: 초기 레이어(1~4층)에서는 구별하지 못했으나, 13층 부근에서 약 89%의 높은 정확도로 두 집단을 분리했습니다. 반면 끝에서 두 번째 토큰의 정확도는 61%에 그쳐, 모델이 마지막 토큰 위치에서 "단어의 완성 여부"를 바탕으로 내부 잠재 단어장을 형성함을 보였습니다.

2) 은닉 표상 내 단어 정체성 추출 (로짓 렌즈 및 패치스코프)
사용 데이터: WIKITEXT_103 내 3글자 초과 단일 토큰 단어 5,000개(2_5개 서브워드로 무작위 분할 및 오타 적용)와 다중 토큰 단어 1,000개
단일 토큰 분할 (로짓 렌즈): cats를 ca + ts로 쪼개어 입력했을 때, 15층 부근에서 마지막 토큰(ts)의 벡터가 80% 이상의 높은 비율로 원래 단어(cats) 임베딩으로 복원되었습니다(오타 입력 시에도 약 40% 복구).
다중 토큰 단어 주입 (패치스코프): 사전에 단일 벡터가 없는 긴 단어(unhappiness)도 5_7층의 마지막 토큰 벡터 1개만 프롬프트에 주입하자, 64%의 확률로 단어 전체를 정확히 생성했습니다. 즉, 중간 층에서 이미 단어 전체의 의미가 마지막 토큰 1개로 압축됩니다.

3) 단어 조립 메커니즘 규명 (어텐션과 FFN의 역할 분담)
사용 데이터: WIKITEXT-103 1,000개 문서 내 2-토큰 단어 5,571개, 어근-접미사 파생어 2,000개, 국가-수도 사실 관계 프롬프트 195개국
어텐션 (1~2층, 조각 모으기): 마지막 토큰이 앞선 서브워드 조각들에 높은 어텐션을 보내 정보를 한자리로 취합합니다(3층 이후 어텐션 급락).
FFN (2~5층, 사전 인출): 취합된 조각을 바탕으로, 평가 단어의 85%에서 FFN이 원래 단어의 의미 벡터를 잔차 스트림에 기록합니다. 이를 차단하면 단어 복원율이 85%에서 18%로, 수도 맞히기 성능이 88%에서 41%로 급락합니다.

4) 실용적 응용: 파인튜닝 없는 어휘 사전 확장
사용 데이터: WIKITEXT-103(영어 일반), PUBMED 초록(생물의학), WIKI40B(아랍어)에서 빈출된 다중 토큰 단어들 (각 도메인 학습용 2,000만(20M) 토큰 활용)
방법 및 효과: 모델 내부에서 완성된 단어 표상을 활용해, 모델 본체 파라미터 재학습 없이 입력/출력 사전에 새 단일 토큰으로 등록했습니다.
결과: 언어 이해 성능 저하 없이 입력 시퀀스 길이를 10.5~14.5% 단축하여, 추론 속도(Latency) 향상 및 메모리 비용 절감을 달성했습니다.

4. 비판적 평가

논문의 강점 및 약점, 추가로 확인하고 싶은 실험이나 질문 등
논문의 강점
-‘LLM이 내부적으로 단어를 인코딩하는가, 그렇다면 어떻게 하는가?’라는 초기 의문점을 풀어나가는데 있어 단계적이고, 논리적, 체계적으로 논문을 전개해 나가는 점이 인상적이었습니다.

-1. LLM의 단어 인지능력 검증
2. 단어 전체 표상이 복원되는지 확인와 기존 단어의 의미를 가지는지 확인
3. 해당 과정이 Model 내부에서 어떤 메커니즘으로 인한 것인지
4. 이러한 발견을 실제로 어떻게 활용할 수 있을지 등

-해당 가설들을 증명하기위한 실험설계들(ex1. cats를 ca + ts로 나누고 layer가 진행된 뒤 5~8번째 layer에서 ts의 벡터를 추출하고 역임베딩하여 cats를 성공적으로 예측하는지를 살펴보는 실험설계 아이디어, ex2. 단어집단과 비단어집단을 형성하여 layer별 벡터값, k-nn기법을 활용하여 LLM이 내부적으로 두집단을 구분한다는 것을 증명하는 실험)들이 참신했다는 생각이 들며, 가설 검증에 상당히 유효했습니다.

-또한, 단순히 LLM 내부에서 잠재 어휘가 형성되는 것을 넘어서 어떤 메커니즘이 주요하게 역할을 하는지와 해당 실험결과를 어떤식으로 활용할 수 있을 것인지에 대해서도 체계적으로 실험으로 증명하여 novelty가 높아졌다는 생각이 들었습니다.

논문의 약점
-논문에서 2번째 질문에 대한 실험 진행시(참고.단어장에 존재하지않는 다중토큰의 단어를 성공적으로 복원하였는가에 대한 실험) 다중 토큰 단어의 약 22.6%는 끝내 온전한 단어로 디코딩되지 못했는데 모델이 어떤 단어는 내부 사전에 단일 개념으로 형성하고 어떤 단어는 조각나 상태로 방치하는지에 대해서 추가적인 검토가 필요하다 생각됩니다.

추가로 확인하고 싶은 것
-추가적으로 테스트 해볼 만한 것이 있다면 기존의 저의 물음인 LLM은 어떻게 문맥을 파악하여 과일의 ‘사과’ , 용서의 ‘사과’를 구분하는 것인가? 에 대해서는 추가적인 실험설계와 증명이 필요할 것으로 판단됩니다.

-해당 논문을 살펴본 결과 LLM이 문맥을 파악하는 것과 가장 유효하게 관련있는 것은 FFN layer라고 생각됩니다. 현재 논문에서는 FFN layer에 대해서 잠재 어휘를 저장하는 것을 주로 증명했는데, 개인적으로는 문맥을 파악한다던지 더 많은 역할을 하지 않을 것인가 하는 생각이 들었습니다.