Abstract
초록 (Abstract)
우리는 높은 계산 효율성과 뛰어난 추론 및 에이전트 성능을 동시에 달성하는 모델인 DeepSeek-V3.2를 소개한다. DeepSeek-V3.2의 핵심 기술적 혁신은 다음과 같다.
-
DeepSeek Sparse Attention (DSA):
DSA라는 효율적인 어텐션 메커니즘을 도입하였다. 이 메커니즘은 긴 컨텍스트 환경에서 모델 성능을 유지하면서도 계산 복잡도를 크게 줄인다.
-
확장 가능한 강화학습(Scaling Reinforcement Learning) 프레임워크:
견고한 강화학습 프로토콜을 구축하고 후처리 학습(post-training) 단계의 계산 자원을 대규모로 확장함으로써, DeepSeek-V3.2는 GPT-5에 필적하는 성능을 달성했다. 특히 고연산 버전인 DeepSeek-V3.2-Speciale는 GPT-5를 능가하며, Gemini-3.0-Pro와 동등한 수준의 추론 능력을 보여준다. 또한 2025년 **국제수학올림피아드(IMO)**와 **국제정보올림피아드(IOI)**에서 모두 금메달 수준의 성과를 달성했다.
-
대규모 에이전트형(Agentic) 작업 합성(Task Synthesis) 파이프라인:
추론 능력을 도구 활용(tool use) 시나리오와 통합하기 위해, 대규모 학습 데이터를 체계적으로 생성하는 새로운 합성 파이프라인을 개발했다. 이 방법론은 에이전트 기반 후처리 학습을 확장 가능하게 하며, 복잡하고 상호작용적인 환경에서 일반화 능력과 지시 수행(instruction following)의 견고성을 크게 향상시킨다.
요약하면, DeepSeek-V3.2는 효율적인 어텐션 구조, 대규모 강화학습, 그리고 확장 가능한 에이전트 학습 데이터 생성 기법을 결합하여, 뛰어난 추론 및 에이전트 성능을 달성한 차세대 모델이다.
1. 서론 (Introduction)
추론(reasoning) 모델의 등장(DeepSeek-AI, 2025; OpenAI, 2024a)은 대규모 언어 모델(LLM) 발전의 중요한 전환점이 되었으며, 특히 정답 검증이 가능한 분야(verifiable fields) 에서 전반적인 성능 향상을 촉진했다. 이 이정표 이후 LLM의 능력은 빠르게 발전해 왔다. 그러나 최근 몇 달 동안 뚜렷한 분화 현상이 나타나고 있다.
오픈소스 커뮤니티(MiniMax, MoonShot, Qwen, ZhiPu-AI)가 지속적으로 발전하고 있음에도 불구하고, 비공개 상용 모델(Anthropic, DeepMind, OpenAI)의 성능 향상 속도는 훨씬 더 가파르게 증가하고 있다. 그 결과, 오픈소스와 클로즈드소스 모델 간의 성능 격차는 좁혀지기보다 오히려 확대되는 양상을 보이며, 특히 복잡한 작업에서 상용 모델들이 점점 더 우수한 능력을 보여주고 있다.
우리의 분석에 따르면, 오픈소스 모델이 복잡한 작업에서 성능이 제한되는 데에는 세 가지 핵심적인 문제가 있다.
첫째, 모델 아키텍처 측면에서 대부분의 모델이 기존의 표준 어텐션(Vaswani et al., 2017)에 의존하고 있으며, 이는 긴 시퀀스를 처리할 때 심각한 효율성 제약을 초래한다. 이러한 비효율성은 확장 가능한 배포와 효과적인 후속 학습(post-training)의 주요 장애물이다.
둘째, 자원 배분 측면에서 오픈소스 모델은 후속 학습 단계에 투입되는 계산 자원이 부족하다. 이로 인해 난도가 높은 문제에서 충분한 성능을 발휘하지 못한다.
셋째, AI 에이전트 분야에서 오픈소스 모델은 상용 모델에 비해 일반화 능력과 지시 수행 능력에서 상당한 격차를 보인다(EvalSys, 2025; Li et al., 2025; Luo et al., 2025). 이는 실제 환경에서의 활용성을 제한하는 요인이다.
이러한 한계를 해결하기 위해 우리는 다음과 같은 접근을 제안한다.
먼저, 계산 복잡도를 크게 줄이기 위해 DSA(DeepSeek Sparse Attention) 라는 매우 효율적인 어텐션 메커니즘을 도입했다. 이 구조는 긴 컨텍스트 환경에서도 성능을 유지하면서 효율성 병목 문제를 효과적으로 해결한다.
둘째, 후속 학습 단계에서 계산량을 대폭 확장할 수 있는 안정적이고 확장 가능한 강화학습(RL) 프로토콜을 개발했다. 특히 이 프레임워크는 사전학습(pre-training) 비용의 10%를 초과하는 규모의 계산 자원을 후속 학습에 투입하여 고급 능력을 끌어냈다.
셋째, 도구 활용(tool use) 상황에서도 일반화 가능한 추론 능력을 학습시키기 위한 새로운 파이프라인을 제안한다. 먼저 DeepSeek-V3(DeepSeek-AI, 2024)의 방법론을 활용한 콜드 스타트(cold-start) 단계를 통해 추론과 도구 사용을 하나의 학습 궤적 안에서 통합했다. 이후 대규모 에이전트 작업 합성(agentic task synthesis) 단계로 발전시켜, 1,800개 이상의 독립적인 환경과 85,000개 이상의 복잡한 프롬프트를 생성하였다. 이렇게 합성된 방대한 데이터는 강화학습 과정에 활용되며, 에이전트 환경에서 모델의 일반화 능력과 지시 수행 능력을 크게 향상시켰다.
DeepSeek-V3.2는 여러 추론 벤치마크에서 Kimi-k2-thinking 및 GPT-5와 유사한 수준의 성능을 달성했다. 또한 EvalSys(2025), Li et al.(2025), Luo et al.(2025)에서 제시된 긴 꼬리(long-tail) 에이전트 작업들에 대해 뛰어난 성능을 보이며 오픈 모델의 에이전트 능력을 크게 향상시켰다.
DeepSeek-V3.2는 에이전트 활용 시나리오에서 매우 비용 효율적인 대안으로 부상했으며, 최첨단 상용 모델과의 성능 격차를 크게 줄이면서도 훨씬 낮은 비용으로 운영될 수 있다.
특히 추론 분야에서 오픈 모델의 한계를 더욱 확장하기 위해 출력 길이 제한을 완화한 DeepSeek-V3.2-Speciale를 개발하였다. 그 결과 DeepSeek-V3.2-Speciale은 선도적인 비공개 모델인 Gemini-3.0-Pro(DeepMind, 2025b)와 동등한 수준의 성능을 달성했다.
또한 다음 대회들에서 모두 금메달 수준의 성과를 기록하였다.
- IOI 2025 (국제정보올림피아드)
- ICPC World Final 2025 (국제 대학생 프로그래밍 대회 세계 결승)
- IMO 2025 (국제수학올림피아드)
- CMO 2025 (중국수학올림피아드)
핵심 요약
DeepSeek 팀은 오픈소스 모델이 상용 모델보다 뒤처지는 이유를 다음 세 가지로 진단한다.
- 비효율적인 기존 Attention 구조
- 부족한 Post-training 연산량
- 약한 Agent 일반화 및 Instruction Following 능력
이를 해결하기 위해:
- DSA → 긴 컨텍스트를 효율적으로 처리
- 대규모 RL 확장 → GPT-5 수준의 추론 능력 확보
- 1,800개 환경 + 8.5만 개 프롬프트 기반 Agent 학습 → 강력한 에이전트 성능 확보
그 결과 DeepSeek-V3.2는 GPT-5 수준에 도달했으며, DeepSeek-V3.2-Speciale은 Gemini-3.0-Pro와 경쟁 가능한 수준이라고 주장하고 있다.
2. DeepSeek-V3.2 아키텍처
2.1 DeepSeek Sparse Attention
DeepSeek-V3.2는 DeepSeek-V3.2-Exp와 완전히 동일한 아키텍처를 사용한다. DeepSeek-V3.1의 마지막 버전인 DeepSeek-V3.1-Terminus와 비교했을 때, DeepSeek-V3.2의 유일한 아키텍처 변경점은 지속 학습(continued training) 을 통해 DeepSeek Sparse Attention (DSA) 를 도입한 것이다.
DSA의 프로토타입
DSA의 프로토타입은 크게 두 가지 구성 요소로 이루어진다.
- Lightning Indexer
- Fine-Grained Token Selection Mechanism
Lightning Indexer
Lightning Indexer는 질의 토큰(query token) $h_t\in\mathbb{R}^d$와 이전 토큰(preceding token) $h_s\in\mathbb{R}^d$ 사이의 인덱스 점수(index score) $I_{t,s}$를 계산하여, 어떤 토큰들이 선택될지를 결정한다.
$$I_{t,s}=\sum_{j=1}^{H_I}w^I_{t,j}\cdot\mathrm{ReLU}\left(q^I_{t,j}\cdot k^I_s\right)$$
여기서,
-
$H_I$는 인덱서 헤드(indexer head)의 개수
-
$q^I_{t,j}\in\mathbb{R}^{d_I}$는 질의 토큰 $h_t$로부터 생성된 인덱서 쿼리 벡터
-
$w^I_{t,j}\in\mathbb{R}$는 질의 토큰 $h_t$로부터 생성된 가중치
-
$k^I_s\in\mathbb{R}^{d_I}$는 이전 토큰 $h_s$로부터 생성된 인덱서 키 벡터
이다.
처리량(throughput)을 고려하여 활성화 함수로 ReLU를 선택하였다. 또한 Lightning Indexer는 헤드 수가 적고 FP8로 구현 가능하기 때문에 계산 효율성이 매우 높다.
Fine-Grained Token Selection
각 질의 토큰 $h_t$에 대해 인덱스 점수 집합 ${I_{t,s}}$가 계산되면, Fine-Grained Token Selection Mechanism은 상위 $k$개의 인덱스 점수를 갖는 토큰들에 해당하는 key-value 엔트리 ${c_s}$만 선택한다.
이후 어텐션 출력 $u_t$는 질의 토큰 $h_t$와 선택된 key-value 엔트리들 사이에서만 계산된다.
$$u_t=\mathrm{Attn}\left(h_t,{c_s\mid I_{t,s}\in\mathrm{Top\text{-}k}(I_{t,:})}\right)$$
즉, 모든 과거 토큰에 대해 어텐션을 수행하는 대신, 인덱서가 중요하다고 판단한 일부 토큰에 대해서만 어텐션을 수행함으로써 계산량을 크게 줄인다.
MLA 기반 DSA 구현
DeepSeek-V3.2는 DeepSeek-V3.1-Terminus로부터 지속 학습을 수행해야 하므로, DSA를 MLA(Multi-head Latent Attention, DeepSeek-AI, 2024) 기반으로 구현하였다.
커널 수준(kernel level)에서는 계산 효율성을 위해 하나의 key-value 엔트리가 여러 query에서 공유되어야 한다(Yuan et al., 2025).
따라서 DSA는 MLA의 MQA(Multi-Query Attention) 모드(Shazeer, 2019)를 기반으로 구현되었다.
이 방식에서는 MLA의 key-value 엔트리에 해당하는 각 latent vector가 동일한 질의 토큰의 모든 query head에서 공유된다.
DSA의 MLA 기반 구조는 논문의 Figure 2에 제시되어 있으며, 구현 세부사항을 명확히 하기 위해 DeepSeek-V3.2의 오픈소스 구현도 공개되었다.
핵심 아이디어
기존 Attention:
$$QK^\top\rightarrow\text{모든 토큰에 대해 계산}$$
DSA:
$$\text{Indexer}\rightarrow\text{Top-}k\text{토큰 선택}\rightarrow\text{Attention 수행}$$
즉,
$$O(n^2)\rightarrow O(nk)$$
형태로 계산량을 줄이면서도 중요한 토큰만 선택하여 성능 손실을 최소화하려는 것이 DSA의 핵심 목표이다.
(논문에서는 아직 정확한 복잡도 분석은 뒤에서 제시하지만, 구조적으로는 Sparse Attention 계열과 유사한 계산 절감 효과를 노린 설계라고 볼 수 있다.)
좋은 지적이야. 사실 DSA를 처음 보면 "이거 그냥 attention을 한 번 더 하는 거 아닌가?"라는 생각이 든다.
핵심은 Indexer 자체도 작은 attention 비슷한 연산이지만, 목적이 다르다는 거야.
1. 왜 W를 곱하지?
논문 식은
$I_{t,s}=\sum_{j=1}^{H_I}w^I_{t,j}\cdot\mathrm{ReLU}(q^I_{t,j}\cdot k^I_s)$
인데 만약 $w^I_{t,j}$가 없다면
$I_{t,s}=\sum_j \mathrm{ReLU}(q^I_{t,j}\cdot k^I_s)$
가 돼.
그러면 모든 head가 동일한 중요도로 합산된다.
하지만 실제로는 query token마다
- 어떤 head는 중요하고
- 어떤 head는 중요하지 않을 수 있음
예를 들어
- head 1 = syntax 관련
- head 2 = code 관련
- head 3 = retrieval 관련
이라고 하면
현재 query가 코드 생성 중이라면
$w_2 \gg w_1,w_3$
가 되도록 학습할 수 있음.
즉 $w$는 attention의 softmax weight가 아니라
"이번 query에서 각 indexer head를 얼마나 신뢰할 것인가?"
를 나타내는 gating 역할이라고 보면 된다.
MoE의 router weight 느낌이 좀 난다.
2. 근데 왜 head라는 말이 나와?
여기가 좀 헷갈리는 부분인데.
보통 Transformer에서 head라고 하면
$QK^T$
→ softmax
→ V weighted sum
까지 포함된 전체 attention head를 생각하잖아.
근데 여기서는 아님.
DSA의 indexer head는
그냥
$q^I_{t,j}\cdot k^I_s$
를 계산하는 projection 하나라고 보면 된다.
즉
각 head가
$q_j=W_j^Q h_t$
$k_j=W_j^K h_s$
를 만들고
내적을 계산함.
그리고 결과를 합침.
3. 왜 여러 head를 쓰는 걸까?
만약 head가 하나라면
$I_{t,s}=\mathrm{ReLU}(q_t\cdot k_s)$
인데
이건 similarity를 오직 하나의 subspace에서만 측정함.
Multi-head를 쓰면
$I_{t,s}=\sum_j w_j\mathrm{ReLU}(q_j\cdot k_j)$
가 되므로
여러 representation space에서 동시에 관련성을 측정할 수 있음.
실제 attention의 multi-head와 철학은 비슷함.
예를 들어
- head 1 → lexical similarity
- head 2 → code dependency
- head 3 → mathematical dependency
- head 4 → document structure
같은 역할 분담이 가능함.
4. 그럼 결국 attention을 두 번 하는 거 아냐?
반쯤 맞고 반쯤 틀림.
기존 attention은
$QK^T$
→ softmax
→ weighted sum of V
여기서 가장 비싼 부분은
모든 token에 대한 softmax와 V aggregation임.
DSA indexer는
$q^I\cdot k^I$
만 계산함.
value aggregation이 없음.
softmax도 없음.
그래서 계산량이 훨씬 작음.
흐름을 그려보면
기존:
QK → Softmax → V aggregation
DSA:
Small QK → Top-k 선택
↓
선택된 토큰만 실제 Attention
맞아. 거의 정확하게 이해했어.
DSA 논문에서 $q^I_{t,j}\in\mathbb{R}^{d_I}$, $k^I_s\in\mathbb{R}^{d_I}$ 라고 쓴 걸 보면
원래 hidden state
$h_t\in\mathbb{R}^{d}$
에서
$q^I_t=W^I_Q h_t$
$k^I_s=W^I_K h_s$
로 projection할 때,
$W^I_Q\in\mathbb{R}^{d_I\times d}$
$W^I_K\in\mathbb{R}^{d_I\times d}$
인 셈이야.
즉
$d_I \ll d$
를 의도한 구조.
보통 LLM 하나를 생각해보면
- hidden dim $d=7168$
- head dim 128
- attention heads 56
이런 규모인데,
Indexer는 예를 들어
정도만 써도 됨.
왜냐하면 얘 목적은
"정확한 attention"
이 아니라
"대충 중요한 토큰 후보 찾아오기"
이기 때문.
예를 들어
원래 attention에서는
$q\in\mathbb{R}^{128}$
$k\in\mathbb{R}^{128}$
라면
dot product 한 번에
128 multiply-add.
Indexer가
$q^I\in\mathbb{R}^{16}$
$k^I\in\mathbb{R}^{16}$
이면
16 multiply-add.
8배 저렴.
FP8까지 쓰면 더 싸짐.
그래서 DSA의 사고방식은
Retriever + Reranker
랑 굉장히 비슷해.
1단계 (Cheap)
$q^I \cdot k^I$
→ Top-k 토큰 선택
2단계 (Expensive)
선택된 토큰만
실제 MLA attention 수행
재밌는 점은 논문이 아직 $d_I$ 값을 공개 안 했지만, 만약 NVIDIA 인터뷰에서 내가 질문한다면 거의 반드시 물어볼 포인트가
"Indexer가 모든 token pair에 대해 여전히 $O(n^2)$인데, 왜 실제로 빠른가?"
야.
답은
복잡도는 여전히 $O(n^2)$인데,
상수가 엄청 작음.
즉
$O(n^2d)$
→
$O(n^2d_I)+O(nkd)$
로 바뀌는 거지.
그래서 DSA는 quadratic을 linear로 바꾼 게 아니라, quadratic의 coefficient를 엄청 줄이고 비싼 attention 부분만 sparse하게 만든 구조에 더 가깝다고 볼 수 있어.
2.1.1 지속 사전학습 (Continued Pre-Training)
컨텍스트 길이가 128K까지 확장된 DeepSeek-V3.1-Terminus 체크포인트를 시작점으로 하여, 우리는 지속 사전학습(continued pre-training)과 후속 학습(post-training)을 수행해 DeepSeek-V3.2를 구축하였다.
DeepSeek-V3.2의 지속 사전학습은 두 개의 단계로 구성된다. 두 단계 모두 DeepSeek-V3.1-Terminus의 128K 컨텍스트 확장에 사용된 데이터와 완전히 동일한 분포를 사용한다.
Dense Warm-up Stage
먼저 Lightning Indexer를 초기화하기 위해 짧은 워밍업 단계를 수행한다.
이 단계에서는 Dense Attention을 그대로 유지하며, Lightning Indexer를 제외한 모든 모델 파라미터를 고정(freeze)한다.
Indexer의 출력이 메인 어텐션 분포와 일치하도록 만들기 위해, $t$번째 query token에 대해 모든 attention head의 attention score를 합산한다.
그 후 시퀀스 차원에 대해 L1 정규화를 수행하여 목표 분포(target distribution) $p_{t,:}\in\mathbb{R}^t$를 생성한다.
이 분포를 이용하여 Indexer 학습 목적함수로 KL Divergence Loss를 정의한다.
$L_I=\sum_t D_{KL}\left(p_{t,:}|\mathrm{Softmax}(I_{t,:})\right)$
즉, Indexer가 예측한 중요도 분포가 원래 Dense Attention의 attention 분포를 최대한 모방하도록 학습시키는 것이다.
Warm-up 단계에서는 학습률로 $10^{-3}$을 사용한다.
Indexer는 단 1000 step만 학습하며,
- step당 16개 시퀀스
- 시퀀스 길이 128K
를 사용한다.
총 학습 토큰 수는 약 21억(2.1B) 개이다.
Sparse Training Stage
Indexer 워밍업이 끝난 후 Fine-Grained Token Selection Mechanism을 활성화한다.
이후 모든 모델 파라미터를 학습하여 모델이 DSA의 sparse attention 패턴에 적응하도록 만든다.
이 단계에서도 Indexer가 메인 Attention 분포를 따라가도록 학습하지만, 전체 토큰이 아니라 선택된 토큰 집합만 고려한다.
선택된 토큰 집합은
$S_t={s\mid I_{t,s}\in\mathrm{Top\text{-}k}(I_{t,:})}$
로 정의된다.
이 경우 Indexer Loss는
$L_I=\sum_t D_{KL}\left(p_{t,S_t}|\mathrm{Softmax}(I_{t,S_t})\right)$
가 된다.
흥미로운 점은 Indexer 입력을 Computational Graph에서 분리(detach)하여 별도로 최적화한다는 것이다.
즉,
- Indexer는 오직 $L_I$만으로 학습
- Main Model은 오직 Language Modeling Loss만으로 학습
한다.
따라서 Indexer는 "어떤 토큰을 선택해야 하는가"만 배우고,
Main Model은 "선택된 토큰을 이용해 어떻게 언어 모델링을 할 것인가"만 학습한다.
Sparse Training 단계에서는
- Learning Rate: $7.3\times10^{-6}$
- Query당 선택 토큰 수: 2048개
를 사용한다.
Main Model과 Indexer를 15000 step 동안 학습하며,
- step당 480개 시퀀스
- 시퀀스 길이 128K
를 사용한다.
총 학습 토큰 수는 약 9437억(943.7B) 개이다.
2.2 동등성 평가 (Parity Evaluation)
표준 벤치마크 평가
2025년 9월, DeepSeek-V3.2-Exp를 다양한 능력을 평가하는 벤치마크 세트에서 DeepSeek-V3.1-Terminus와 비교하였다.
결과적으로 DeepSeek-V3.2-Exp는 긴 시퀀스에서 계산 효율성을 크게 향상시켰음에도,
- Short Context Task
- Long Context Task
모두에서 DeepSeek-V3.1-Terminus 대비 의미 있는 성능 저하는 관찰되지 않았다.
인간 선호도 평가
직접적인 인간 평가에는 편향이 개입될 수 있기 때문에, 연구진은 ChatbotArena를 이용해 사용자 선호도를 간접적으로 측정하였다.
DeepSeek-V3.1-Terminus와 DeepSeek-V3.2-Exp는 동일한 Post-Training 전략을 사용하였다.
2025년 11월 10일 기준 평가 결과 두 모델의 Elo 점수는 거의 동일하였다.
이는 Sparse Attention을 도입했음에도 새로운 Base Model이 이전 버전과 동등한 수준의 성능을 유지함을 시사한다.
Long Context 평가
DeepSeek-V3.2-Exp 공개 이후 여러 독립적인 Long Context 평가가 수행되었다.
대표적인 예가 AA-LCR 벤치마크인데,
Reasoning Mode에서 DeepSeek-V3.2-Exp는 DeepSeek-V3.1-Terminus보다 4점 높은 점수를 기록하였다.
또한 Fiction.liveBench 평가에서도 여러 지표에 걸쳐 DeepSeek-V3.2-Exp가 지속적으로 더 우수한 성능을 보였다.
이는 DeepSeek-V3.2-Exp의 Base Checkpoint가 Long Context 작업에서 성능 저하(regression)를 보이지 않음을 의미한다.
2.3 추론 비용 (Inference Costs)
DSA는 Main Model의 핵심 Attention 계산 복잡도를
$O(L^2)$
에서
$O(Lk)$
로 감소시킨다.
여기서 $k\ll L$은 선택된 토큰 수를 의미한다.
물론 Lightning Indexer는 여전히
$O(L^2)$
복잡도를 가진다.
그러나 Indexer는 DeepSeek-V3.1-Terminus의 MLA보다 훨씬 적은 계산량을 필요로 한다.
또한 최적화된 구현을 결합함으로써 DSA는 Long Context 환경에서 전체 추론 속도를 크게 향상시킨다.
Figure 3은 DeepSeek-V3.1-Terminus와 DeepSeek-V3.2의 토큰당 비용이 시퀀스 위치에 따라 어떻게 변하는지를 보여준다.
이 비용은 H800 GPU 기반 실제 서비스 환경에서 측정되었으며, GPU 시간당 임대 비용 2달러를 기준으로 계산되었다.
참고로 짧은 시퀀스의 Prefill 단계에서는 DSA를 직접 사용하는 대신 특수한 Masked MHA 모드를 구현하였다.
이 방식은 DSA를 모사하면서도 짧은 컨텍스트 환경에서 더 높은 효율을 달성할 수 있다.
3. Post-Training
지속 사전학습(continued pre-training) 이후, 최종 DeepSeek-V3.2를 만들기 위해 후학습(post-training)을 수행한다. DeepSeek-V3.2의 후학습 또한 희소 어텐션(sparse attention)을 사용하며, 이는 희소 지속 사전학습 단계와 동일한 방식으로 적용된다.
DeepSeek-V3.2는 DeepSeek-V3.2-Exp와 동일한 후학습 파이프라인을 유지하며, 여기에는 **전문가 증류(Specialist Distillation)**와 **혼합 강화학습(Mixed RL Training)**이 포함된다.
전문가 증류 (Specialist Distillation)
각 작업(task)에 대해, 우리는 먼저 특정 도메인에만 특화된 전문 모델(specialized model)을 구축한다. 모든 전문가 모델은 동일한 사전학습된 DeepSeek-V3.2 베이스 체크포인트에서 파인튜닝된다.
이 프레임워크는 글쓰기(writing) 및 일반 질의응답(general QA)뿐만 아니라 다음의 여섯 개 전문 도메인을 포함한다.
- 수학(Mathematics)
- 프로그래밍(Programming)
- 일반 논리 추론(General Logical Reasoning)
- 일반 에이전트 작업(General Agentic Tasks)
- 에이전트 코딩(Agentic Coding)
- 에이전트 검색(Agentic Search)
또한 모든 도메인은 다음 두 가지 모드를 지원한다.
- Thinking Mode: 긴 Chain-of-Thought(CoT) 추론을 수행
- Non-Thinking Mode: 직접적인 응답 생성
각 전문가 모델은 대규모 강화학습(RL)을 통해 학습된다. 또한 긴 추론 과정(Thinking Mode)과 직접 응답 생성(Non-Thinking Mode)을 위한 학습 데이터를 생성할 때 서로 다른 모델들을 사용한다.
전문가 모델이 준비되면, 이 모델들을 활용하여 최종 모델 학습을 위한 도메인별 데이터를 생성한다.
실험 결과에 따르면, 이렇게 증류된 데이터만으로 학습한 모델도 각 도메인 전문가 모델과 비교해 성능 차이가 매우 작으며, 이후 RL 학습을 수행하면 이러한 성능 격차는 사실상 사라진다.
혼합 강화학습 (Mixed RL Training)
DeepSeek-V3.2는 여전히 강화학습 알고리즘으로 GRPO(Group Relative Policy Optimization) 를 사용한다(DeepSeek-AI, 2025; Shao et al., 2024).
DeepSeek-V3.2-Exp와 마찬가지로, 우리는 다음 세 가지 학습을 하나의 RL 단계로 통합한다.
- 추론(Reasoning)
- 에이전트(Agent)
- 인간 정렬(Human Alignment)
이 접근법은 다양한 도메인에서의 성능 균형을 유지하면서도, 다단계 학습 과정에서 흔히 발생하는 파국적 망각(Catastrophic Forgetting) 문제를 방지한다.
추론 및 에이전트 작업
다음 보상 함수를 사용한다.
- 규칙 기반 결과 보상(rule-based outcome reward)
- 길이 패널티(length penalty)
- 언어 일관성 보상(language consistency reward)
일반 작업
일반 작업에서는 생성형 보상 모델(generative reward model)을 사용하며, 각 프롬프트마다 개별적인 평가 기준(rubric)이 존재한다.
DeepSeek-V3.2와 DeepSeek-V3.2-Speciale
DeepSeek-V3.2는 전문가 모델들로부터 증류된
- 추론 데이터
- 에이전트 데이터
- 인간 정렬 데이터
를 통합하여 학습하며, 이후 수천 단계의 추가 RL 학습을 거쳐 최종 체크포인트에 도달한다.
장시간 사고(extended thinking)의 잠재력을 탐구하기 위해, 우리는 DeepSeek-V3.2-Speciale라는 실험적 변형 모델도 개발하였다.
이 모델의 특징은 다음과 같다.
- 추론(reasoning) 데이터만 사용하여 학습
- RL 과정에서 길이 패널티를 완화
- 수학적 증명 능력 향상을 위해 DeepSeekMath-V2(Shao et al., 2025)의 데이터셋과 보상 방식을 추가 도입
마지막으로, 우리는 다음 두 가지 주제에 대한 연구 결과를 강조하고자 한다.
- 3.1절: RL 연산량(RL Compute)을 안정적으로 확장하기 위한 학습 레시피 설계
- 3.2절: 에이전트 작업(agentic tasks)에 Thinking 능력을 통합하는 방법
에 대해 자세히 설명한다.
GitHub Markdown에서 바로 사용할 수 있도록, 수식은 모두 inline LaTeX ($...$) 형태로 바꾸고 줄바꿈 없이 자연스럽게 번역했습니다.
3.1. GRPO 스케일링 (Scaling GRPO)
먼저 GRPO의 목적 함수를 살펴보자. GRPO는 각 질문 $q$에 대해 기존 정책(old policy) $\pi_{\text{old}}$로부터 샘플링된 응답 집합 ${o_1,\ldots,o_G}$에 대해 다음 목적 함수를 최대화함으로써 정책 모델 $\pi_\theta$를 최적화한다.
여기서 중요도 샘플링 비율(importance sampling ratio)은 다음과 같이 정의된다.
$r_{i,t}(\theta)=\frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\text{old}}(o_{i,t}|q,o_{i,<t})}$
$\epsilon$과 $\beta$는 각각 clipping 범위와 KL 패널티 강도를 제어하는 하이퍼파라미터이다. $\hat{A}_{i,t}$ 는 토큰 $o_{i,t}$ 의 advantage이며, 각 그룹 내에서 결과 보상(outcome reward)을 정규화하여 추정한다.
구체적으로는 여러 보상 모델(reward model)을 사용하여 그룹 내 각 출력 $o_i$ 에 대해 결과 보상 $R_i$ 를 계산하며, 이를 통해 $G$ 개의 보상 집합 $\mathbf{R}={R_1,\ldots,R_G}$ 를 얻는다. 이후 토큰 $o_{i,t}$ 의 advantage는 해당 출력의 보상에서 그룹 평균 보상을 뺀 값으로 계산된다.
이하에서는 GRPO 알고리즘을 기반으로 RL 스케일링을 안정화하기 위해 추가적으로 적용한 전략들을 설명한다.
편향 없는 KL 추정(Unbiased KL Estimate)
토큰 $o_{i,t}$는 기존 정책 $\pi_{\text{old}}(\cdot|q,o_{i,<t})$로부터 샘플링되므로, 현재 정책 $\pi_\theta$와 기존 정책 $\pi_{\text{old}}$ 사이의 중요도 샘플링 비율을 이용하여 Schulman(2020)의 K3 추정기를 보정하고 편향 없는 KL 추정값을 얻는다.
$D_{\text{KL}}!\left(\frac{\pi_\theta(o_{i,t})}{\pi_{\text{ref}}(o_{i,t})}\right)=\frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\text{old}}(o_{i,t}|q,o_{i,<t})}\left(\frac{\pi_{\text{ref}}(o_{i,t}|q,o_{i,<t})}{\pi_\theta(o_{i,t}|q,o_{i,<t})}-\log\frac{\pi_{\text{ref}}(o_{i,t}|q,o_{i,<t})}{\pi_\theta(o_{i,t}|q,o_{i,<t})}-1\right)$
이러한 수정의 직접적인 결과로, 해당 KL 추정기의 그래디언트는 편향이 없어지게 되며(systematic estimation error 제거), 보다 안정적인 수렴을 가능하게 한다.
이는 원래의 K3 추정기와 뚜렷한 차이를 보인다. 특히 샘플링된 토큰의 현재 정책 확률이 참조 정책(reference policy) 확률보다 현저히 낮은 경우, 즉 $\pi_\theta \ll \pi_{\text{ref}}$ 인 상황에서 그 차이가 크게 나타난다.
이 경우 K3 추정기의 그래디언트는 해당 토큰들의 우도를 높이기 위해 과도하게 크고 무한정 증가할 수 있는 가중치를 부여한다. 그 결과 노이즈가 큰 그래디언트 업데이트가 발생하며, 이러한 노이즈는 반복 학습 과정에서 누적되어 이후 샘플 품질을 저하시킬 뿐 아니라 학습 자체를 불안정하게 만든다.
실제 실험에서는 도메인마다 KL 정규화(KL regularization)의 적절한 강도가 서로 다르다는 점을 확인하였다. 예를 들어 수학(Math) 분야의 경우, 상대적으로 약한 KL 패널티를 사용하거나 심지어 KL 패널티를 제거하는 것이 더 좋은 성능을 보이는 경우도 있었다.
Off-Policy Sequence Masking
RL 시스템의 효율성을 높이기 위해, 일반적으로 대규모 rollout 데이터를 생성한 뒤 이를 여러 개의 미니배치(mini-batch)로 분할하여 여러 번의 그래디언트 업데이트를 수행한다. 이러한 과정은 본질적으로 off-policy 학습을 유발한다.
또한 효율적인 데이터 생성을 위해 사용되는 추론(inference) 프레임워크는 강하게 최적화되어 있는 경우가 많으며, 학습(training) 프레임워크와 구현 세부사항이 다를 수 있다. 이러한 학습-추론 불일치(training-inference inconsistency)는 off-policy 정도를 더욱 악화시킨다.
학습 안정성을 높이고 off-policy 업데이트에 대한 내성을 향상시키기 위해, 우리는 데이터 생성 정책 $\pi_{\text{old}}$와 현재 정책 $\pi_\theta$ 사이의 KL divergence를 기준으로 정책 차이가 큰 부정적(negative) 시퀀스를 마스킹한다.
구체적으로는 GRPO 손실 함수에 이진 마스크(binary mask) $M$을 도입한다.
$$
J_{\mathrm{GRPO}}(\theta)=\mathbb{E}\left[
\frac{1}{G}\sum_{i=1}^{G}
\frac{1}{|o_i|}\sum_{t=1}^{|o_i|}
\left(
\min\left(
r_{i,t}(\theta)\hat{A}_{i,t},
\mathrm{clip}(r_{i,t}(\theta),1-\epsilon,1+\epsilon)\hat{A}_{i,t}
\right)M_{i,t}
-\beta D_{\mathrm{KL}}\left(
\frac{\pi_\theta(o_{i,t})}{\pi_{\mathrm{ref}}(o_{i,t})}
\right)
\right)
\right]
$$
여기서 마스크는 다음과 같이 정의된다.
$M_{i,t}=0 \quad \text{if } \hat{A}{i,t}<0 \text{ and } \frac{1}{|o_i|}\sum{t=1}^{|o_i|}\log\frac{\pi_{\mathrm{old}}(o_{i,t}|q,o_{i,<t})}{\pi_\theta(o_{i,t}|q,o_{i,<t})}>\delta$
$M_{i,t}=1 \quad \text{otherwise}$
여기서 $\delta$는 정책 간 차이(policy divergence)의 허용 임계값을 제어하는 하이퍼파라미터이다.
특히 여기서의 $\pi_{\text{old}}$는 추론 프레임워크가 직접 반환한 샘플링 확률을 의미하므로, 기존 정책과 현재 정책 사이의 KL divergence는 앞서 언급한 두 종류의 off-policy 원인(미니배치 재사용과 학습-추론 불일치)을 모두 반영한다.
또한 우리는 advantage가 음수인 시퀀스만 마스킹한다는 점에 주목할 필요가 있다.
직관적으로 모델은 자신의 실수로부터 가장 많은 것을 학습할 수 있지만, 정책 차이가 매우 큰 off-policy 음성 샘플은 학습을 잘못된 방향으로 유도하거나 최적화 과정을 불안정하게 만들 수 있기 때문이다.
실험적으로도 이러한 Off-Policy Sequence Masking 기법은 특정 학습 환경에서 발생하던 불안정성을 완화하는 효과가 있음을 확인하였다.
Keep Routing
Mixture-of-Experts(MoE) 모델은 추론 시 일부 전문가(expert)만 활성화함으로써 계산 효율을 높인다.
그러나 추론 프레임워크와 학습 프레임워크 간의 구현 차이, 그리고 정책 업데이트가 결합되면 동일한 입력에 대해서도 추론 시점과 학습 시점의 expert routing이 달라질 수 있다.
이러한 불일치는 활성화되는 파라미터 부분공간(active parameter subspace)을 갑작스럽게 변경하며, 결과적으로 최적화를 불안정하게 만들고 off-policy 문제를 더욱 악화시킨다.
이를 완화하기 위해 우리는 추론 프레임워크에서 샘플링 시 사용된 expert routing 경로를 저장하고, 학습 과정에서도 동일한 routing 경로를 강제로 사용한다.
이를 통해 동일한 expert 파라미터 집합이 지속적으로 최적화되도록 보장할 수 있다.
이 Keep Routing 기법은 MoE 모델의 RL 학습 안정성에 매우 중요한 역할을 하며, DeepSeek-V3-0324 이후부터 RL 학습 파이프라인에 적용되고 있다.
Keep Sampling Mask
Top-p 및 Top-k 샘플링은 LLM의 응답 품질을 향상시키기 위해 널리 사용되는 샘플링 전략이다.
RL 학습에서도 이러한 전략은 매우 낮은 확률의 토큰이 최적화 대상이 되는 것을 방지하므로 유용하다.
하지만 이러한 확률 절단(truncation)은 샘플 품질을 유지하는 대신, 기존 정책 $\pi_{\text{old}}$와 현재 정책 $\pi_\theta$의 행동 공간(action space)을 다르게 만든다.
이는 importance sampling의 기본 가정을 위반하게 되며, 결과적으로 학습 안정성을 저해한다.
이를 해결하기 위해 우리는 $\pi_{\text{old}}$에서 샘플링할 때 사용된 truncation mask를 그대로 저장하고, 학습 시 $\pi_\theta$에도 동일하게 적용한다.
이를 통해 두 정책이 동일한 행동 공간을 공유하도록 보장한다.
실험 결과, Top-p 샘플링과 Keep Sampling Mask를 함께 사용하는 경우 RL 학습 중 언어 일관성(language consistency)을 효과적으로 유지할 수 있음을 확인하였다.
3.2. Tool-Use에서의 Thinking
3.2.1. Thinking Context Management
DeepSeek-R1은 thinking 과정(reasoning process) 을 포함하는 것이 복잡한 문제 해결 능력을 크게 향상시킬 수 있음을 보여주었다. 이러한 통찰을 바탕으로 우리는 thinking 능력을 tool-calling 시나리오에도 통합하고자 하였다.
초기에는 DeepSeek-R1과 동일하게 두 번째 라운드의 메시지가 도착하면 reasoning 내용을 제거하는 방식을 적용해 보았다. 그러나 이러한 방식은 토큰 사용 측면에서 매우 비효율적이었다. 모델은 새로운 tool call이 발생할 때마다 문제 전체를 다시 추론해야 했기 때문이다.
이를 해결하기 위해 Fig.4와 같이 tool-calling 환경에 특화된 컨텍스트 관리 방식을 설계하였다.
새로운 사용자 메시지가 추가될 때만 기존 reasoning 내용을 제거한다.
Tool 출력과 같은 tool 관련 메시지만 추가되는 경우에는 reasoning 내용을 유지한다.
Reasoning trace를 제거하더라도 과거의 tool 호출 기록과 결과는 컨텍스트에 계속 보존한다.
다만 Roo Code나 Terminus와 같은 일부 에이전트 프레임워크는 tool 상호작용을 사용자 메시지 형태로 시뮬레이션한다.
이러한 구조에서는 위 규칙에 따라 reasoning이 자주 제거될 수 있으므로, 향상된 reasoning persistence의 이점을 충분히 활용하지 못할 수 있다.
따라서 이러한 아키텍처에서는 thinking 모델보다 non-thinking 모델 사용을 권장한다.
3.2.2. Cold-Start
우리는 이미 다음 두 종류의 데이터를 보유하고 있다.
이 두 능력을 통합하는 가장 직관적인 방법은 신중하게 설계된 프롬프트(prompt)를 사용하는 것이다.
우리는 모델이 명시적인 지시를 충분히 잘 따를 수 있다고 가정하며, 이를 통해 reasoning 과정 내부에 tool 실행을 자연스럽게 삽입할 수 있다고 본다.
Cold-start 메커니즘의 동작을 설명하기 위해 Appendix Table 6~8과 같이 일부 학습 데이터를 예시로 제시하였다.
여기서 중요한 점은 작업 종류마다 서로 다른 system prompt를 사용한다는 것이다.
Table 6: reasoning 데이터 예시
Table 7: non-reasoning agent 데이터 예시
Table 8: reasoning 과정 중 여러 번의 tool call을 수행하도록 설계된 system prompt
이러한 방식만으로도 tool-use reasoning 패턴의 안정성은 아직 부족하지만, 모델은 때때로 원하는 trajectory를 생성할 수 있다.
이는 이후 RL 단계에서 강화할 수 있는 초기 출발점(cold-start)을 제공한다.
3.2.3. Large-Scale Agentic Tasks
강건한(robust) 에이전트 능력을 학습하기 위해서는 다양한 RL 태스크가 필수적이다.
Search, Code Engineering, Code Interpretation과 같은 작업에서는 실제 환경을 사용한다.
예를 들어 다음과 같은 실제 도구를 활용한다.
실제 Web Search API
코딩 도구
Jupyter Notebook
다만 RL 환경은 실제 환경이지만, 프롬프트는 실제 사용자 대화가 아니라 다음과 같이 생성된다.
인터넷 데이터에서 추출
합성 데이터(synthetic)
반면 일부 작업은 환경과 프롬프트 모두를 합성하여 생성한다.
사용된 에이전트 태스크는 다음과 같다.
Task | 개수 | 환경 | 프롬프트
-- | -- | -- | --
Code Agent | 24,667 | 실제 | 추출
Search Agent | 50,275 | 실제 | 합성
General Agent | 4,417 | 합성 | 합성
Code Interpreter | 5,908 | 실제 | 추출
Search Agent
Search Agent 데이터는 DeepSeek-V3.2 기반의 멀티 에이전트 파이프라인으로 생성한다.
대규모 웹 코퍼스에서 다양한 도메인의 롱테일 엔티티(long-tail entity)를 샘플링
Question Construction Agent가 검색 도구를 사용하여 해당 엔티티를 탐색
수집한 정보를 QA 쌍(question-answer pair)으로 변환
여러 개의 Answer Generation Agent가 다양한 후보 답변 생성
Search 기능을 가진 Verification Agent가 여러 차례 검증 수행
최종적으로
정답은 검증 가능하게 맞고
모든 후보 답변은 틀린 경우
만 학습 데이터로 채택한다.
이 데이터는 다양한
를 포함한다.
또한 실제 사용 환경을 반영하기 위해 기존 Helpful RL 데이터셋 중 Search 도구가 실제로 도움이 되는 샘플도 추가하였다.
평가를 위해 여러 품질 차원의 rubric을 설계하고, Generative Reward Model을 사용하여 응답을 평가한다.
이를 통해
을 동시에 최적화할 수 있다.
Code Agent
GitHub에서 수백만 개의 Issue-PR(Pull Request) 쌍을 수집하여 대규모 소프트웨어 버그 수정 환경을 구축하였다.
데이터는 다음 조건을 만족하도록 필터링되었다.
합리적인 Issue 설명
대응되는 Gold Patch
검증용 Test Patch
DeepSeek-V3.2 기반의 Environment Setup Agent가 자동으로 실행 환경을 구축한다.
이 에이전트는
을 수행한다.
테스트 결과는 JUnit 형식으로 출력되어 언어 및 테스트 프레임워크에 관계없이 동일하게 처리된다.
환경 구축 성공 조건은 다음과 같다.
즉,
버그는 수정되고
기존 기능은 망가지지 않아야 한다.
이 과정을 통해 다음 언어를 포함한 수만 개의 재현 가능한 버그 수정 환경을 구축하였다.
Python
Java
JavaScript
TypeScript
C
C++
Go
PHP
Code Interpreter Agent
복잡한 추론 문제 해결을 위해 Jupyter Notebook을 Code Interpreter로 활용한다.
이를 위해 다음 분야의 문제들을 수집하였다.
모든 문제는 코드 실행을 활용해야 해결 가능하도록 설계되었다.
General Agent
RL용 에이전트 환경을 대규모로 생성하기 위해 자동 환경 생성 에이전트(environment-synthesis agent)를 사용하였다.
이를 통해 총 1,827개의 task-oriented environment 를 생성하였다.
이 작업들은
는 특징을 가진다.
생성 절차는 다음과 같다.
1단계
예를 들어 "여행 일정 계획"과 같은 작업 카테고리가 주어지면,
을 사용하여 인터넷에서 관련 데이터를 수집하고 샌드박스 DB에 저장한다.
2단계
해당 작업을 해결하기 위한 전용 도구(tool)를 함수 형태로 생성한다.
3단계
자동 검증 가능한 어려운 태스크를 생성한다.
이를 위해
Task
Solution Function
Verification Function
을 Python으로 생성한다.
Solution Function은
만 가능하며,
은 금지된다.
즉 반드시 Tool Interface를 통해서만 문제를 해결해야 한다.
Verification Function은 Solution 결과를 자동으로 검증한다.
검증에 실패하면 Agent가 Solution 또는 Verification Function을 수정한다.
이후 반복적으로
난이도 증가
Solution 업데이트
Verification 업데이트
를 수행한다.
필요하면 Tool Set도 자동으로 확장한다.
최종적으로 수천 개의
<environment, tools, task, verifier>
튜플을 생성한다.
이 데이터셋으로 DeepSeek-V3.2 RL 학습을 수행한 후, pass@100이 0이 아닌 태스크만 남긴 결과:
1,827개 Environment
총 4,417개 Task
를 확보하였다.
논문에서는 여행 일정 계획(trip-planning) 예제를 통해, 거대한 조합 공간에서 모든 제약을 만족하는 계획을 찾는 것은 어렵지만, 특정 계획이 제약을 만족하는지 검증하는 것은 상대적으로 쉽다는 점을 보여준다.
4. 평가(Evaluation)
4.1. 주요 결과(Main Results)
우리는 다음 벤치마크에서 모델을 평가하였다.
MMLU-Pro
GPQA Diamond
Human Last Exam(HLE)
LiveCodeBench
Codeforces
Aider-Polyglot
AIME 2025
HMMT Feb 2025
HMMT Nov 2025
IMOAnswerBench
Terminal Bench 2.0
SWE-Verified
SWE Multilingual
BrowseComp
BrowseCompZh
$\tau^2$-Bench
MCP-Universe
MCP-Mark
Tool-Decathlon
Tool-use 벤치마크는 표준 function-calling 형식으로 평가했으며, 모든 모델은 thinking mode로 동작하도록 설정하였다. MCP-Universe와 MCP-Mark는 공식 환경과 검색 및 Playwright 환경이 약간 다를 수 있으므로 내부 평가 환경을 사용하였다.
평가 설정은 다음과 같다.
Temperature = 1.0
Context Window = 128K
수학 관련 벤치마크(AIME, HMMT, IMOAnswerBench, HLE)에서는 다음 템플릿을 사용하였다.
{question}
Please reason step by step, and put your final answer within \boxed{}.
HLE의 경우 DeepSeek-V3.2-Thinking을 공식 템플릿으로도 평가했으며 23.9점을 기록했다.
DeepSeek-V3.2의 성능
DeepSeek-V3.2는 추론 벤치마크에서 GPT-5 High와 유사한 성능을 보였으며, Gemini-3.0-Pro보다는 약간 낮은 성능을 기록했다.
또한 Kimi-K2-Thinking과 비교했을 때 훨씬 적은 출력 토큰으로 유사한 성능을 달성하였다. 이러한 향상은 RL 학습에 투입된 계산량 증가에 기인한다. 최근 몇 달간 RL 학습 예산을 늘릴수록 성능이 지속적으로 향상되는 현상을 관찰했으며, 현재 RL 비용은 이미 사전학습 비용의 10%를 초과한다.
연구진은 추가적인 RL 연산 예산을 투입하면 reasoning 능력이 더 향상될 수 있다고 보고 있다.
Code Agent 성능
DeepSeek-V3.2는 다음 벤치마크에서 기존 오픈소스 모델들을 크게 앞선다.
SWE-Bench Verified
Terminal Bench 2.0
이는 실제 소프트웨어 개발 환경에서의 활용 가능성을 보여준다.
Terminal Bench 2.0의 경우 thinking mode 컨텍스트 관리 방식이 Terminus 프레임워크와 호환되지 않아 Claude Code 프레임워크로 평가했으며 46.4점을 기록했다.
반면 Terminus에서 non-thinking mode를 사용하면 39.3점을 기록하였다.
SWE-Bench Verified 역시 내부 프레임워크를 사용했으며, Claude Code 및 RooCode 환경에서도 72~74 수준의 일관된 성능을 보였다.
Search Agent 성능
Search Agent는 상용 Search API를 사용하여 평가하였다.
DeepSeek-V3.2는 최대 128K context만 지원하기 때문에 테스트셋의 약 20% 이상이 컨텍스트 길이 제한을 초과하였다. 이를 해결하기 위해 Context Management 기법을 적용하였다.
즉 Context Management가 Search Agent 성능 향상에 매우 중요한 역할을 한다.
Tool-Use 성능
Tool-use 벤치마크에서 DeepSeek-V3.2는 오픈소스와 클로즈드소스 모델 간의 성능 격차를 크게 줄였지만, 여전히 최상위 모델보다는 낮은 수준이다.
MCP 벤치마크에서는 tool 출력을 user role이 아닌 tool role 메시지로 전달하였다.
평가 과정에서 DeepSeek-V3.2는 다음과 같은 특성을 보였다.
이 때문에 컨텍스트 길이가 128K를 초과하는 경우가 자주 발생했으며, 특히 MCP-Mark GitHub 및 Playwright 평가에서 성능 저하의 원인이 되었다.
그럼에도 불구하고 기존 오픈모델 대비 상당한 성능 우위를 보였다.
특히 RL 학습에서 사용되지 않았던 환경과 도구에서도 성능 향상이 관찰되었는데, 이는 DeepSeek-V3.2가 학습한 추론 전략을 새로운 에이전트 환경으로 일반화할 수 있음을 보여준다.
4.2. DeepSeek-V3.2-Speciale 결과
DeepSeek-V3.2-Speciale은 더 많은 reasoning token을 활용함으로써 여러 벤치마크에서 Gemini-3.0-Pro를 능가하는 성능을 달성하였다.
특히 특정 작업에 맞춘 추가 학습 없이도 다음 대회에서 금메달 수준의 성능을 기록했다.
수학
대회 | 점수 | 메달
-- | -- | --
IMO 2025 | 35/42 | Gold
CMO 2025 | 102/126 | Gold
특히 Discard-all은 매우 단순하면서도 효율성과 확장성이 뛰어났다.
5. 결론 및 향후 연구
DeepSeek-V3.2는 계산 효율성과 고급 추론 능력 간의 균형을 달성하기 위해 설계되었다.
주요 성과는 다음과 같다.
DSA를 통해 긴 컨텍스트 성능을 유지하면서 계산량 감소
GPT-5 수준의 추론 성능 달성
대규모 Agent Task Synthesis를 통한 Tool-use 능력 향상
DeepSeek-V3.2-Speciale의 IMO·IOI 금메달 수준 성능 달성
하지만 여전히 다음 한계가 존재한다.
세계 지식(World Knowledge) 규모가 Gemini-3.0-Pro 등보다 부족
토큰 효율성이 낮음
매우 복잡한 문제 해결 능력은 최상위 모델보다 부족
향후 연구에서는
더 큰 사전학습 규모
더 높은 reasoning token 효율성
더욱 강력한 post-training 기법
을 통해 이러한 문제를 해결할 계획이다.
Abstract
초록 (Abstract)
우리는 높은 계산 효율성과 뛰어난 추론 및 에이전트 성능을 동시에 달성하는 모델인 DeepSeek-V3.2를 소개한다. DeepSeek-V3.2의 핵심 기술적 혁신은 다음과 같다.
DeepSeek Sparse Attention (DSA):
DSA라는 효율적인 어텐션 메커니즘을 도입하였다. 이 메커니즘은 긴 컨텍스트 환경에서 모델 성능을 유지하면서도 계산 복잡도를 크게 줄인다.
확장 가능한 강화학습(Scaling Reinforcement Learning) 프레임워크:
견고한 강화학습 프로토콜을 구축하고 후처리 학습(post-training) 단계의 계산 자원을 대규모로 확장함으로써, DeepSeek-V3.2는 GPT-5에 필적하는 성능을 달성했다. 특히 고연산 버전인 DeepSeek-V3.2-Speciale는 GPT-5를 능가하며, Gemini-3.0-Pro와 동등한 수준의 추론 능력을 보여준다. 또한 2025년 **국제수학올림피아드(IMO)**와 **국제정보올림피아드(IOI)**에서 모두 금메달 수준의 성과를 달성했다.
대규모 에이전트형(Agentic) 작업 합성(Task Synthesis) 파이프라인:
추론 능력을 도구 활용(tool use) 시나리오와 통합하기 위해, 대규모 학습 데이터를 체계적으로 생성하는 새로운 합성 파이프라인을 개발했다. 이 방법론은 에이전트 기반 후처리 학습을 확장 가능하게 하며, 복잡하고 상호작용적인 환경에서 일반화 능력과 지시 수행(instruction following)의 견고성을 크게 향상시킨다.
요약하면, DeepSeek-V3.2는 효율적인 어텐션 구조, 대규모 강화학습, 그리고 확장 가능한 에이전트 학습 데이터 생성 기법을 결합하여, 뛰어난 추론 및 에이전트 성능을 달성한 차세대 모델이다.
1. 서론 (Introduction)
추론(reasoning) 모델의 등장(DeepSeek-AI, 2025; OpenAI, 2024a)은 대규모 언어 모델(LLM) 발전의 중요한 전환점이 되었으며, 특히 정답 검증이 가능한 분야(verifiable fields) 에서 전반적인 성능 향상을 촉진했다. 이 이정표 이후 LLM의 능력은 빠르게 발전해 왔다. 그러나 최근 몇 달 동안 뚜렷한 분화 현상이 나타나고 있다.
오픈소스 커뮤니티(MiniMax, MoonShot, Qwen, ZhiPu-AI)가 지속적으로 발전하고 있음에도 불구하고, 비공개 상용 모델(Anthropic, DeepMind, OpenAI)의 성능 향상 속도는 훨씬 더 가파르게 증가하고 있다. 그 결과, 오픈소스와 클로즈드소스 모델 간의 성능 격차는 좁혀지기보다 오히려 확대되는 양상을 보이며, 특히 복잡한 작업에서 상용 모델들이 점점 더 우수한 능력을 보여주고 있다.
우리의 분석에 따르면, 오픈소스 모델이 복잡한 작업에서 성능이 제한되는 데에는 세 가지 핵심적인 문제가 있다.
첫째, 모델 아키텍처 측면에서 대부분의 모델이 기존의 표준 어텐션(Vaswani et al., 2017)에 의존하고 있으며, 이는 긴 시퀀스를 처리할 때 심각한 효율성 제약을 초래한다. 이러한 비효율성은 확장 가능한 배포와 효과적인 후속 학습(post-training)의 주요 장애물이다.
둘째, 자원 배분 측면에서 오픈소스 모델은 후속 학습 단계에 투입되는 계산 자원이 부족하다. 이로 인해 난도가 높은 문제에서 충분한 성능을 발휘하지 못한다.
셋째, AI 에이전트 분야에서 오픈소스 모델은 상용 모델에 비해 일반화 능력과 지시 수행 능력에서 상당한 격차를 보인다(EvalSys, 2025; Li et al., 2025; Luo et al., 2025). 이는 실제 환경에서의 활용성을 제한하는 요인이다.
이러한 한계를 해결하기 위해 우리는 다음과 같은 접근을 제안한다.
먼저, 계산 복잡도를 크게 줄이기 위해 DSA(DeepSeek Sparse Attention) 라는 매우 효율적인 어텐션 메커니즘을 도입했다. 이 구조는 긴 컨텍스트 환경에서도 성능을 유지하면서 효율성 병목 문제를 효과적으로 해결한다.
둘째, 후속 학습 단계에서 계산량을 대폭 확장할 수 있는 안정적이고 확장 가능한 강화학습(RL) 프로토콜을 개발했다. 특히 이 프레임워크는 사전학습(pre-training) 비용의 10%를 초과하는 규모의 계산 자원을 후속 학습에 투입하여 고급 능력을 끌어냈다.
셋째, 도구 활용(tool use) 상황에서도 일반화 가능한 추론 능력을 학습시키기 위한 새로운 파이프라인을 제안한다. 먼저 DeepSeek-V3(DeepSeek-AI, 2024)의 방법론을 활용한 콜드 스타트(cold-start) 단계를 통해 추론과 도구 사용을 하나의 학습 궤적 안에서 통합했다. 이후 대규모 에이전트 작업 합성(agentic task synthesis) 단계로 발전시켜, 1,800개 이상의 독립적인 환경과 85,000개 이상의 복잡한 프롬프트를 생성하였다. 이렇게 합성된 방대한 데이터는 강화학습 과정에 활용되며, 에이전트 환경에서 모델의 일반화 능력과 지시 수행 능력을 크게 향상시켰다.
DeepSeek-V3.2는 여러 추론 벤치마크에서 Kimi-k2-thinking 및 GPT-5와 유사한 수준의 성능을 달성했다. 또한 EvalSys(2025), Li et al.(2025), Luo et al.(2025)에서 제시된 긴 꼬리(long-tail) 에이전트 작업들에 대해 뛰어난 성능을 보이며 오픈 모델의 에이전트 능력을 크게 향상시켰다.
DeepSeek-V3.2는 에이전트 활용 시나리오에서 매우 비용 효율적인 대안으로 부상했으며, 최첨단 상용 모델과의 성능 격차를 크게 줄이면서도 훨씬 낮은 비용으로 운영될 수 있다.
특히 추론 분야에서 오픈 모델의 한계를 더욱 확장하기 위해 출력 길이 제한을 완화한 DeepSeek-V3.2-Speciale를 개발하였다. 그 결과 DeepSeek-V3.2-Speciale은 선도적인 비공개 모델인 Gemini-3.0-Pro(DeepMind, 2025b)와 동등한 수준의 성능을 달성했다.
또한 다음 대회들에서 모두 금메달 수준의 성과를 기록하였다.
핵심 요약
DeepSeek 팀은 오픈소스 모델이 상용 모델보다 뒤처지는 이유를 다음 세 가지로 진단한다.
이를 해결하기 위해:
그 결과 DeepSeek-V3.2는 GPT-5 수준에 도달했으며, DeepSeek-V3.2-Speciale은 Gemini-3.0-Pro와 경쟁 가능한 수준이라고 주장하고 있다.
2. DeepSeek-V3.2 아키텍처
2.1 DeepSeek Sparse Attention
DeepSeek-V3.2는 DeepSeek-V3.2-Exp와 완전히 동일한 아키텍처를 사용한다. DeepSeek-V3.1의 마지막 버전인 DeepSeek-V3.1-Terminus와 비교했을 때, DeepSeek-V3.2의 유일한 아키텍처 변경점은 지속 학습(continued training) 을 통해 DeepSeek Sparse Attention (DSA) 를 도입한 것이다.
DSA의 프로토타입
DSA의 프로토타입은 크게 두 가지 구성 요소로 이루어진다.
Lightning Indexer
Lightning Indexer는 질의 토큰(query token)$h_t\in\mathbb{R}^d$ 와 이전 토큰(preceding token) $h_s\in\mathbb{R}^d$ 사이의 인덱스 점수(index score) $I_{t,s}$ 를 계산하여, 어떤 토큰들이 선택될지를 결정한다.
여기서,
이다.
처리량(throughput)을 고려하여 활성화 함수로 ReLU를 선택하였다. 또한 Lightning Indexer는 헤드 수가 적고 FP8로 구현 가능하기 때문에 계산 효율성이 매우 높다.
Fine-Grained Token Selection
각 질의 토큰$h_t$ 에 대해 인덱스 점수 집합 ${I_{t,s}}$ 가 계산되면, Fine-Grained Token Selection Mechanism은 상위 $k$ 개의 인덱스 점수를 갖는 토큰들에 해당하는 key-value 엔트리 ${c_s}$ 만 선택한다.
이후 어텐션 출력$u_t$ 는 질의 토큰 $h_t$ 와 선택된 key-value 엔트리들 사이에서만 계산된다.
즉, 모든 과거 토큰에 대해 어텐션을 수행하는 대신, 인덱서가 중요하다고 판단한 일부 토큰에 대해서만 어텐션을 수행함으로써 계산량을 크게 줄인다.
MLA 기반 DSA 구현
DeepSeek-V3.2는 DeepSeek-V3.1-Terminus로부터 지속 학습을 수행해야 하므로, DSA를 MLA(Multi-head Latent Attention, DeepSeek-AI, 2024) 기반으로 구현하였다.
커널 수준(kernel level)에서는 계산 효율성을 위해 하나의 key-value 엔트리가 여러 query에서 공유되어야 한다(Yuan et al., 2025).
따라서 DSA는 MLA의 MQA(Multi-Query Attention) 모드(Shazeer, 2019)를 기반으로 구현되었다.
이 방식에서는 MLA의 key-value 엔트리에 해당하는 각 latent vector가 동일한 질의 토큰의 모든 query head에서 공유된다.
DSA의 MLA 기반 구조는 논문의 Figure 2에 제시되어 있으며, 구현 세부사항을 명확히 하기 위해 DeepSeek-V3.2의 오픈소스 구현도 공개되었다.
핵심 아이디어
기존 Attention:
DSA:
즉,
형태로 계산량을 줄이면서도 중요한 토큰만 선택하여 성능 손실을 최소화하려는 것이 DSA의 핵심 목표이다.
(논문에서는 아직 정확한 복잡도 분석은 뒤에서 제시하지만, 구조적으로는 Sparse Attention 계열과 유사한 계산 절감 효과를 노린 설계라고 볼 수 있다.)
좋은 지적이야. 사실 DSA를 처음 보면 "이거 그냥 attention을 한 번 더 하는 거 아닌가?"라는 생각이 든다.
핵심은 Indexer 자체도 작은 attention 비슷한 연산이지만, 목적이 다르다는 거야.
1. 왜 W를 곱하지?
논문 식은
인데 만약$w^I_{t,j}$ 가 없다면
가 돼.
그러면 모든 head가 동일한 중요도로 합산된다.
하지만 실제로는 query token마다
예를 들어
이라고 하면
현재 query가 코드 생성 중이라면
가 되도록 학습할 수 있음.
즉$w$ 는 attention의 softmax weight가 아니라
"이번 query에서 각 indexer head를 얼마나 신뢰할 것인가?"
를 나타내는 gating 역할이라고 보면 된다.
MoE의 router weight 느낌이 좀 난다.
2. 근데 왜 head라는 말이 나와?
여기가 좀 헷갈리는 부분인데.
보통 Transformer에서 head라고 하면
→ softmax
→ V weighted sum
까지 포함된 전체 attention head를 생각하잖아.
근데 여기서는 아님.
DSA의 indexer head는
그냥
를 계산하는 projection 하나라고 보면 된다.
즉
각 head가
를 만들고
내적을 계산함.
그리고 결과를 합침.
3. 왜 여러 head를 쓰는 걸까?
만약 head가 하나라면
인데
이건 similarity를 오직 하나의 subspace에서만 측정함.
Multi-head를 쓰면
가 되므로
여러 representation space에서 동시에 관련성을 측정할 수 있음.
실제 attention의 multi-head와 철학은 비슷함.
예를 들어
같은 역할 분담이 가능함.
4. 그럼 결국 attention을 두 번 하는 거 아냐?
반쯤 맞고 반쯤 틀림.
기존 attention은
→ softmax
→ weighted sum of V
여기서 가장 비싼 부분은
모든 token에 대한 softmax와 V aggregation임.
DSA indexer는
만 계산함.
value aggregation이 없음.
softmax도 없음.
그래서 계산량이 훨씬 작음.
흐름을 그려보면
기존:
QK → Softmax → V aggregationDSA:
Small QK → Top-k 선택↓선택된 토큰만 실제 Attention맞아. 거의 정확하게 이해했어.
DSA 논문에서$q^I_{t,j}\in\mathbb{R}^{d_I}$ , $k^I_s\in\mathbb{R}^{d_I}$ 라고 쓴 걸 보면
원래 hidden state
에서
로 projection할 때,
인 셈이야.
즉
를 의도한 구조.
보통 LLM 하나를 생각해보면
이런 규모인데,
Indexer는 예를 들어
정도만 써도 됨.
왜냐하면 얘 목적은
이 아니라
이기 때문.
예를 들어
원래 attention에서는
라면
dot product 한 번에
128 multiply-add.
Indexer가
이면
16 multiply-add.
8배 저렴.
FP8까지 쓰면 더 싸짐.
그래서 DSA의 사고방식은
Retriever + Reranker
랑 굉장히 비슷해.
1단계 (Cheap)
→ Top-k 토큰 선택
2단계 (Expensive)
선택된 토큰만
실제 MLA attention 수행
재밌는 점은 논문이 아직$d_I$ 값을 공개 안 했지만, 만약 NVIDIA 인터뷰에서 내가 질문한다면 거의 반드시 물어볼 포인트가
야.
답은
복잡도는 여전히$O(n^2)$ 인데,
상수가 엄청 작음.
즉
→
로 바뀌는 거지.
그래서 DSA는 quadratic을 linear로 바꾼 게 아니라, quadratic의 coefficient를 엄청 줄이고 비싼 attention 부분만 sparse하게 만든 구조에 더 가깝다고 볼 수 있어.
2.1.1 지속 사전학습 (Continued Pre-Training)
컨텍스트 길이가 128K까지 확장된 DeepSeek-V3.1-Terminus 체크포인트를 시작점으로 하여, 우리는 지속 사전학습(continued pre-training)과 후속 학습(post-training)을 수행해 DeepSeek-V3.2를 구축하였다.
DeepSeek-V3.2의 지속 사전학습은 두 개의 단계로 구성된다. 두 단계 모두 DeepSeek-V3.1-Terminus의 128K 컨텍스트 확장에 사용된 데이터와 완전히 동일한 분포를 사용한다.
Dense Warm-up Stage
먼저 Lightning Indexer를 초기화하기 위해 짧은 워밍업 단계를 수행한다.
이 단계에서는 Dense Attention을 그대로 유지하며, Lightning Indexer를 제외한 모든 모델 파라미터를 고정(freeze)한다.
Indexer의 출력이 메인 어텐션 분포와 일치하도록 만들기 위해,$t$ 번째 query token에 대해 모든 attention head의 attention score를 합산한다.
그 후 시퀀스 차원에 대해 L1 정규화를 수행하여 목표 분포(target distribution)$p_{t,:}\in\mathbb{R}^t$ 를 생성한다.
이 분포를 이용하여 Indexer 학습 목적함수로 KL Divergence Loss를 정의한다.
즉, Indexer가 예측한 중요도 분포가 원래 Dense Attention의 attention 분포를 최대한 모방하도록 학습시키는 것이다.
Warm-up 단계에서는 학습률로$10^{-3}$ 을 사용한다.
Indexer는 단 1000 step만 학습하며,
를 사용한다.
총 학습 토큰 수는 약 21억(2.1B) 개이다.
Sparse Training Stage
Indexer 워밍업이 끝난 후 Fine-Grained Token Selection Mechanism을 활성화한다.
이후 모든 모델 파라미터를 학습하여 모델이 DSA의 sparse attention 패턴에 적응하도록 만든다.
이 단계에서도 Indexer가 메인 Attention 분포를 따라가도록 학습하지만, 전체 토큰이 아니라 선택된 토큰 집합만 고려한다.
선택된 토큰 집합은
로 정의된다.
이 경우 Indexer Loss는
가 된다.
흥미로운 점은 Indexer 입력을 Computational Graph에서 분리(detach)하여 별도로 최적화한다는 것이다.
즉,
한다.
따라서 Indexer는 "어떤 토큰을 선택해야 하는가"만 배우고,
Main Model은 "선택된 토큰을 이용해 어떻게 언어 모델링을 할 것인가"만 학습한다.
Sparse Training 단계에서는
를 사용한다.
Main Model과 Indexer를 15000 step 동안 학습하며,
를 사용한다.
총 학습 토큰 수는 약 9437억(943.7B) 개이다.
2.2 동등성 평가 (Parity Evaluation)
표준 벤치마크 평가
2025년 9월, DeepSeek-V3.2-Exp를 다양한 능력을 평가하는 벤치마크 세트에서 DeepSeek-V3.1-Terminus와 비교하였다.
결과적으로 DeepSeek-V3.2-Exp는 긴 시퀀스에서 계산 효율성을 크게 향상시켰음에도,
모두에서 DeepSeek-V3.1-Terminus 대비 의미 있는 성능 저하는 관찰되지 않았다.
인간 선호도 평가
직접적인 인간 평가에는 편향이 개입될 수 있기 때문에, 연구진은 ChatbotArena를 이용해 사용자 선호도를 간접적으로 측정하였다.
DeepSeek-V3.1-Terminus와 DeepSeek-V3.2-Exp는 동일한 Post-Training 전략을 사용하였다.
2025년 11월 10일 기준 평가 결과 두 모델의 Elo 점수는 거의 동일하였다.
이는 Sparse Attention을 도입했음에도 새로운 Base Model이 이전 버전과 동등한 수준의 성능을 유지함을 시사한다.
Long Context 평가
DeepSeek-V3.2-Exp 공개 이후 여러 독립적인 Long Context 평가가 수행되었다.
대표적인 예가 AA-LCR 벤치마크인데,
Reasoning Mode에서 DeepSeek-V3.2-Exp는 DeepSeek-V3.1-Terminus보다 4점 높은 점수를 기록하였다.
또한 Fiction.liveBench 평가에서도 여러 지표에 걸쳐 DeepSeek-V3.2-Exp가 지속적으로 더 우수한 성능을 보였다.
이는 DeepSeek-V3.2-Exp의 Base Checkpoint가 Long Context 작업에서 성능 저하(regression)를 보이지 않음을 의미한다.
2.3 추론 비용 (Inference Costs)
DSA는 Main Model의 핵심 Attention 계산 복잡도를
에서
로 감소시킨다.
여기서$k\ll L$ 은 선택된 토큰 수를 의미한다.
물론 Lightning Indexer는 여전히
복잡도를 가진다.
그러나 Indexer는 DeepSeek-V3.1-Terminus의 MLA보다 훨씬 적은 계산량을 필요로 한다.
또한 최적화된 구현을 결합함으로써 DSA는 Long Context 환경에서 전체 추론 속도를 크게 향상시킨다.
Figure 3은 DeepSeek-V3.1-Terminus와 DeepSeek-V3.2의 토큰당 비용이 시퀀스 위치에 따라 어떻게 변하는지를 보여준다.
이 비용은 H800 GPU 기반 실제 서비스 환경에서 측정되었으며, GPU 시간당 임대 비용 2달러를 기준으로 계산되었다.
참고로 짧은 시퀀스의 Prefill 단계에서는 DSA를 직접 사용하는 대신 특수한 Masked MHA 모드를 구현하였다.
이 방식은 DSA를 모사하면서도 짧은 컨텍스트 환경에서 더 높은 효율을 달성할 수 있다.
3. Post-Training
지속 사전학습(continued pre-training) 이후, 최종 DeepSeek-V3.2를 만들기 위해 후학습(post-training)을 수행한다. DeepSeek-V3.2의 후학습 또한 희소 어텐션(sparse attention)을 사용하며, 이는 희소 지속 사전학습 단계와 동일한 방식으로 적용된다.
DeepSeek-V3.2는 DeepSeek-V3.2-Exp와 동일한 후학습 파이프라인을 유지하며, 여기에는 **전문가 증류(Specialist Distillation)**와 **혼합 강화학습(Mixed RL Training)**이 포함된다.
전문가 증류 (Specialist Distillation)
각 작업(task)에 대해, 우리는 먼저 특정 도메인에만 특화된 전문 모델(specialized model)을 구축한다. 모든 전문가 모델은 동일한 사전학습된 DeepSeek-V3.2 베이스 체크포인트에서 파인튜닝된다.
이 프레임워크는 글쓰기(writing) 및 일반 질의응답(general QA)뿐만 아니라 다음의 여섯 개 전문 도메인을 포함한다.
또한 모든 도메인은 다음 두 가지 모드를 지원한다.
각 전문가 모델은 대규모 강화학습(RL)을 통해 학습된다. 또한 긴 추론 과정(Thinking Mode)과 직접 응답 생성(Non-Thinking Mode)을 위한 학습 데이터를 생성할 때 서로 다른 모델들을 사용한다.
전문가 모델이 준비되면, 이 모델들을 활용하여 최종 모델 학습을 위한 도메인별 데이터를 생성한다.
실험 결과에 따르면, 이렇게 증류된 데이터만으로 학습한 모델도 각 도메인 전문가 모델과 비교해 성능 차이가 매우 작으며, 이후 RL 학습을 수행하면 이러한 성능 격차는 사실상 사라진다.
혼합 강화학습 (Mixed RL Training)
DeepSeek-V3.2는 여전히 강화학습 알고리즘으로 GRPO(Group Relative Policy Optimization) 를 사용한다(DeepSeek-AI, 2025; Shao et al., 2024).
DeepSeek-V3.2-Exp와 마찬가지로, 우리는 다음 세 가지 학습을 하나의 RL 단계로 통합한다.
이 접근법은 다양한 도메인에서의 성능 균형을 유지하면서도, 다단계 학습 과정에서 흔히 발생하는 파국적 망각(Catastrophic Forgetting) 문제를 방지한다.
추론 및 에이전트 작업
다음 보상 함수를 사용한다.
일반 작업
일반 작업에서는 생성형 보상 모델(generative reward model)을 사용하며, 각 프롬프트마다 개별적인 평가 기준(rubric)이 존재한다.
DeepSeek-V3.2와 DeepSeek-V3.2-Speciale
DeepSeek-V3.2는 전문가 모델들로부터 증류된
를 통합하여 학습하며, 이후 수천 단계의 추가 RL 학습을 거쳐 최종 체크포인트에 도달한다.
장시간 사고(extended thinking)의 잠재력을 탐구하기 위해, 우리는 DeepSeek-V3.2-Speciale라는 실험적 변형 모델도 개발하였다.
이 모델의 특징은 다음과 같다.
마지막으로, 우리는 다음 두 가지 주제에 대한 연구 결과를 강조하고자 한다.
에 대해 자세히 설명한다.
GitHub Markdown에서 바로 사용할 수 있도록, 수식은 모두 inline LaTeX (
$...$) 형태로 바꾸고 줄바꿈 없이 자연스럽게 번역했습니다.3.1. GRPO 스케일링 (Scaling GRPO)
먼저 GRPO의 목적 함수를 살펴보자. GRPO는 각 질문$q$ 에 대해 기존 정책(old policy) $\pi_{\text{old}}$ 로부터 샘플링된 응답 집합 ${o_1,\ldots,o_G}$ 에 대해 다음 목적 함수를 최대화함으로써 정책 모델 $\pi_\theta$ 를 최적화한다.
여기서 중요도 샘플링 비율(importance sampling ratio)은 다음과 같이 정의된다.
구체적으로는 여러 보상 모델(reward model)을 사용하여 그룹 내 각 출력$o_i$ 에 대해 결과 보상 $R_i$ 를 계산하며, 이를 통해 $G$ 개의 보상 집합 $\mathbf{R}={R_1,\ldots,R_G}$ 를 얻는다. 이후 토큰 $o_{i,t}$ 의 advantage는 해당 출력의 보상에서 그룹 평균 보상을 뺀 값으로 계산된다.
이하에서는 GRPO 알고리즘을 기반으로 RL 스케일링을 안정화하기 위해 추가적으로 적용한 전략들을 설명한다.
편향 없는 KL 추정(Unbiased KL Estimate)
토큰$o_{i,t}$ 는 기존 정책 $\pi_{\text{old}}(\cdot|q,o_{i,<t})$ 로부터 샘플링되므로, 현재 정책 $\pi_\theta$ 와 기존 정책 $\pi_{\text{old}}$ 사이의 중요도 샘플링 비율을 이용하여 Schulman(2020)의 K3 추정기를 보정하고 편향 없는 KL 추정값을 얻는다.
이러한 수정의 직접적인 결과로, 해당 KL 추정기의 그래디언트는 편향이 없어지게 되며(systematic estimation error 제거), 보다 안정적인 수렴을 가능하게 한다.
이는 원래의 K3 추정기와 뚜렷한 차이를 보인다. 특히 샘플링된 토큰의 현재 정책 확률이 참조 정책(reference policy) 확률보다 현저히 낮은 경우, 즉$\pi_\theta \ll \pi_{\text{ref}}$ 인 상황에서 그 차이가 크게 나타난다.
이 경우 K3 추정기의 그래디언트는 해당 토큰들의 우도를 높이기 위해 과도하게 크고 무한정 증가할 수 있는 가중치를 부여한다. 그 결과 노이즈가 큰 그래디언트 업데이트가 발생하며, 이러한 노이즈는 반복 학습 과정에서 누적되어 이후 샘플 품질을 저하시킬 뿐 아니라 학습 자체를 불안정하게 만든다.
실제 실험에서는 도메인마다 KL 정규화(KL regularization)의 적절한 강도가 서로 다르다는 점을 확인하였다. 예를 들어 수학(Math) 분야의 경우, 상대적으로 약한 KL 패널티를 사용하거나 심지어 KL 패널티를 제거하는 것이 더 좋은 성능을 보이는 경우도 있었다.
Off-Policy Sequence Masking
RL 시스템의 효율성을 높이기 위해, 일반적으로 대규모 rollout 데이터를 생성한 뒤 이를 여러 개의 미니배치(mini-batch)로 분할하여 여러 번의 그래디언트 업데이트를 수행한다. 이러한 과정은 본질적으로 off-policy 학습을 유발한다.
또한 효율적인 데이터 생성을 위해 사용되는 추론(inference) 프레임워크는 강하게 최적화되어 있는 경우가 많으며, 학습(training) 프레임워크와 구현 세부사항이 다를 수 있다. 이러한 학습-추론 불일치(training-inference inconsistency)는 off-policy 정도를 더욱 악화시킨다.
학습 안정성을 높이고 off-policy 업데이트에 대한 내성을 향상시키기 위해, 우리는 데이터 생성 정책$\pi_{\text{old}}$ 와 현재 정책 $\pi_\theta$ 사이의 KL divergence를 기준으로 정책 차이가 큰 부정적(negative) 시퀀스를 마스킹한다.
구체적으로는 GRPO 손실 함수에 이진 마스크(binary mask)$M$ 을 도입한다.
여기서 마스크는 다음과 같이 정의된다.
여기서$\delta$ 는 정책 간 차이(policy divergence)의 허용 임계값을 제어하는 하이퍼파라미터이다.
특히 여기서의$\pi_{\text{old}}$ 는 추론 프레임워크가 직접 반환한 샘플링 확률을 의미하므로, 기존 정책과 현재 정책 사이의 KL divergence는 앞서 언급한 두 종류의 off-policy 원인(미니배치 재사용과 학습-추론 불일치)을 모두 반영한다.
또한 우리는 advantage가 음수인 시퀀스만 마스킹한다는 점에 주목할 필요가 있다.
직관적으로 모델은 자신의 실수로부터 가장 많은 것을 학습할 수 있지만, 정책 차이가 매우 큰 off-policy 음성 샘플은 학습을 잘못된 방향으로 유도하거나 최적화 과정을 불안정하게 만들 수 있기 때문이다.
실험적으로도 이러한 Off-Policy Sequence Masking 기법은 특정 학습 환경에서 발생하던 불안정성을 완화하는 효과가 있음을 확인하였다.
Keep Routing
Mixture-of-Experts(MoE) 모델은 추론 시 일부 전문가(expert)만 활성화함으로써 계산 효율을 높인다.
그러나 추론 프레임워크와 학습 프레임워크 간의 구현 차이, 그리고 정책 업데이트가 결합되면 동일한 입력에 대해서도 추론 시점과 학습 시점의 expert routing이 달라질 수 있다.
이러한 불일치는 활성화되는 파라미터 부분공간(active parameter subspace)을 갑작스럽게 변경하며, 결과적으로 최적화를 불안정하게 만들고 off-policy 문제를 더욱 악화시킨다.
이를 완화하기 위해 우리는 추론 프레임워크에서 샘플링 시 사용된 expert routing 경로를 저장하고, 학습 과정에서도 동일한 routing 경로를 강제로 사용한다.
이를 통해 동일한 expert 파라미터 집합이 지속적으로 최적화되도록 보장할 수 있다.
이 Keep Routing 기법은 MoE 모델의 RL 학습 안정성에 매우 중요한 역할을 하며, DeepSeek-V3-0324 이후부터 RL 학습 파이프라인에 적용되고 있다.
Keep Sampling Mask
Top-p 및 Top-k 샘플링은 LLM의 응답 품질을 향상시키기 위해 널리 사용되는 샘플링 전략이다.
RL 학습에서도 이러한 전략은 매우 낮은 확률의 토큰이 최적화 대상이 되는 것을 방지하므로 유용하다.
하지만 이러한 확률 절단(truncation)은 샘플 품질을 유지하는 대신, 기존 정책$\pi_{\text{old}}$ 와 현재 정책 $\pi_\theta$ 의 행동 공간(action space)을 다르게 만든다.
이는 importance sampling의 기본 가정을 위반하게 되며, 결과적으로 학습 안정성을 저해한다.
이를 해결하기 위해 우리는$\pi_{\text{old}}$ 에서 샘플링할 때 사용된 truncation mask를 그대로 저장하고, 학습 시 $\pi_\theta$ 에도 동일하게 적용한다.
이를 통해 두 정책이 동일한 행동 공간을 공유하도록 보장한다.
실험 결과, Top-p 샘플링과 Keep Sampling Mask를 함께 사용하는 경우 RL 학습 중 언어 일관성(language consistency)을 효과적으로 유지할 수 있음을 확인하였다.
3.2. Tool-Use에서의 Thinking
3.2.1. Thinking Context Management
DeepSeek-R1은 thinking 과정(reasoning process) 을 포함하는 것이 복잡한 문제 해결 능력을 크게 향상시킬 수 있음을 보여주었다. 이러한 통찰을 바탕으로 우리는 thinking 능력을 tool-calling 시나리오에도 통합하고자 하였다.
초기에는 DeepSeek-R1과 동일하게 두 번째 라운드의 메시지가 도착하면 reasoning 내용을 제거하는 방식을 적용해 보았다. 그러나 이러한 방식은 토큰 사용 측면에서 매우 비효율적이었다. 모델은 새로운 tool call이 발생할 때마다 문제 전체를 다시 추론해야 했기 때문이다.
이를 해결하기 위해 Fig.4와 같이 tool-calling 환경에 특화된 컨텍스트 관리 방식을 설계하였다.
새로운 사용자 메시지가 추가될 때만 기존 reasoning 내용을 제거한다.
Tool 출력과 같은 tool 관련 메시지만 추가되는 경우에는 reasoning 내용을 유지한다.
Reasoning trace를 제거하더라도 과거의 tool 호출 기록과 결과는 컨텍스트에 계속 보존한다.
다만 Roo Code나 Terminus와 같은 일부 에이전트 프레임워크는 tool 상호작용을 사용자 메시지 형태로 시뮬레이션한다.
이러한 구조에서는 위 규칙에 따라 reasoning이 자주 제거될 수 있으므로, 향상된 reasoning persistence의 이점을 충분히 활용하지 못할 수 있다.
따라서 이러한 아키텍처에서는 thinking 모델보다 non-thinking 모델 사용을 권장한다.
3.2.2. Cold-Start
우리는 이미 다음 두 종류의 데이터를 보유하고 있다.
추론 데이터(reasoning data, non-agentic)
비추론 에이전트 데이터(non-reasoning agentic data)
이 두 능력을 통합하는 가장 직관적인 방법은 신중하게 설계된 프롬프트(prompt)를 사용하는 것이다.
우리는 모델이 명시적인 지시를 충분히 잘 따를 수 있다고 가정하며, 이를 통해 reasoning 과정 내부에 tool 실행을 자연스럽게 삽입할 수 있다고 본다.
Cold-start 메커니즘의 동작을 설명하기 위해 Appendix Table 6~8과 같이 일부 학습 데이터를 예시로 제시하였다.
여기서 중요한 점은 작업 종류마다 서로 다른 system prompt를 사용한다는 것이다.
Table 6: reasoning 데이터 예시
최종 답변 이전에 reasoning 수행을 명시적으로 요구
<think></think>태그로 reasoning 경로를 표시Table 7: non-reasoning agent 데이터 예시
system prompt에 tool call 사용법 포함
Table 8: reasoning 과정 중 여러 번의 tool call을 수행하도록 설계된 system prompt
이러한 방식만으로도 tool-use reasoning 패턴의 안정성은 아직 부족하지만, 모델은 때때로 원하는 trajectory를 생성할 수 있다.
이는 이후 RL 단계에서 강화할 수 있는 초기 출발점(cold-start)을 제공한다.
3.2.3. Large-Scale Agentic Tasks
강건한(robust) 에이전트 능력을 학습하기 위해서는 다양한 RL 태스크가 필수적이다.
Search, Code Engineering, Code Interpretation과 같은 작업에서는 실제 환경을 사용한다.
예를 들어 다음과 같은 실제 도구를 활용한다.
실제 Web Search API
코딩 도구
Jupyter Notebook
다만 RL 환경은 실제 환경이지만, 프롬프트는 실제 사용자 대화가 아니라 다음과 같이 생성된다.
인터넷 데이터에서 추출
합성 데이터(synthetic)
반면 일부 작업은 환경과 프롬프트 모두를 합성하여 생성한다.
사용된 에이전트 태스크는 다음과 같다.
Task | 개수 | 환경 | 프롬프트 -- | -- | -- | -- Code Agent | 24,667 | 실제 | 추출 Search Agent | 50,275 | 실제 | 합성 General Agent | 4,417 | 합성 | 합성 Code Interpreter | 5,908 | 실제 | 추출Search Agent
Search Agent 데이터는 DeepSeek-V3.2 기반의 멀티 에이전트 파이프라인으로 생성한다.
대규모 웹 코퍼스에서 다양한 도메인의 롱테일 엔티티(long-tail entity)를 샘플링
Question Construction Agent가 검색 도구를 사용하여 해당 엔티티를 탐색
수집한 정보를 QA 쌍(question-answer pair)으로 변환
여러 개의 Answer Generation Agent가 다양한 후보 답변 생성
Search 기능을 가진 Verification Agent가 여러 차례 검증 수행
최종적으로
정답은 검증 가능하게 맞고
모든 후보 답변은 틀린 경우
만 학습 데이터로 채택한다.
이 데이터는 다양한
언어
도메인
난이도
를 포함한다.
또한 실제 사용 환경을 반영하기 위해 기존 Helpful RL 데이터셋 중 Search 도구가 실제로 도움이 되는 샘플도 추가하였다.
평가를 위해 여러 품질 차원의 rubric을 설계하고, Generative Reward Model을 사용하여 응답을 평가한다.
이를 통해
사실적 정확성(Factual Reliability)
실용적 유용성(Practical Helpfulness)
을 동시에 최적화할 수 있다.
Code Agent
GitHub에서 수백만 개의 Issue-PR(Pull Request) 쌍을 수집하여 대규모 소프트웨어 버그 수정 환경을 구축하였다.
데이터는 다음 조건을 만족하도록 필터링되었다.
합리적인 Issue 설명
대응되는 Gold Patch
검증용 Test Patch
DeepSeek-V3.2 기반의 Environment Setup Agent가 자동으로 실행 환경을 구축한다.
이 에이전트는
패키지 설치
의존성 해결
테스트 실행
을 수행한다.
테스트 결과는 JUnit 형식으로 출력되어 언어 및 테스트 프레임워크에 관계없이 동일하게 처리된다.
환경 구축 성공 조건은 다음과 같다.
Gold Patch 적용 시 F2P(False-to-Positive) 테스트 수 > 0
P2F(Pass-to-Fail) 테스트 수 = 0
즉,
버그는 수정되고
기존 기능은 망가지지 않아야 한다.
이 과정을 통해 다음 언어를 포함한 수만 개의 재현 가능한 버그 수정 환경을 구축하였다.
Python
Java
JavaScript
TypeScript
C
C++
Go
PHP
Code Interpreter Agent
복잡한 추론 문제 해결을 위해 Jupyter Notebook을 Code Interpreter로 활용한다.
이를 위해 다음 분야의 문제들을 수집하였다.
수학
논리
데이터 과학
모든 문제는 코드 실행을 활용해야 해결 가능하도록 설계되었다.
General Agent
RL용 에이전트 환경을 대규모로 생성하기 위해 자동 환경 생성 에이전트(environment-synthesis agent)를 사용하였다.
이를 통해 총 1,827개의 task-oriented environment 를 생성하였다.
이 작업들은
해결은 어렵지만
정답 검증은 쉽다
는 특징을 가진다.
생성 절차는 다음과 같다.
1단계
예를 들어 "여행 일정 계획"과 같은 작업 카테고리가 주어지면,
Bash
Search Tool
을 사용하여 인터넷에서 관련 데이터를 수집하고 샌드박스 DB에 저장한다.
2단계
해당 작업을 해결하기 위한 전용 도구(tool)를 함수 형태로 생성한다.
3단계
자동 검증 가능한 어려운 태스크를 생성한다.
이를 위해
Task
Solution Function
Verification Function
을 Python으로 생성한다.
Solution Function은
Tool 함수 호출
논리 연산
만 가능하며,
다른 함수 호출
DB 직접 접근
은 금지된다.
즉 반드시 Tool Interface를 통해서만 문제를 해결해야 한다.
Verification Function은 Solution 결과를 자동으로 검증한다.
검증에 실패하면 Agent가 Solution 또는 Verification Function을 수정한다.
이후 반복적으로
난이도 증가
Solution 업데이트
Verification 업데이트
를 수행한다.
필요하면 Tool Set도 자동으로 확장한다.
최종적으로 수천 개의
<environment, tools, task, verifier>튜플을 생성한다.
이 데이터셋으로 DeepSeek-V3.2 RL 학습을 수행한 후, pass@100이 0이 아닌 태스크만 남긴 결과:
1,827개 Environment
총 4,417개 Task
를 확보하였다.
논문에서는 여행 일정 계획(trip-planning) 예제를 통해, 거대한 조합 공간에서 모든 제약을 만족하는 계획을 찾는 것은 어렵지만, 특정 계획이 제약을 만족하는지 검증하는 것은 상대적으로 쉽다는 점을 보여준다.
4. 평가(Evaluation)
4.1. 주요 결과(Main Results)
우리는 다음 벤치마크에서 모델을 평가하였다.
MMLU-Pro
GPQA Diamond
Human Last Exam(HLE)
LiveCodeBench
Codeforces
Aider-Polyglot
AIME 2025
HMMT Feb 2025
HMMT Nov 2025
IMOAnswerBench
Terminal Bench 2.0
SWE-Verified
SWE Multilingual
BrowseComp
BrowseCompZh
MCP-Universe
MCP-Mark
Tool-Decathlon
Tool-use 벤치마크는 표준 function-calling 형식으로 평가했으며, 모든 모델은 thinking mode로 동작하도록 설정하였다. MCP-Universe와 MCP-Mark는 공식 환경과 검색 및 Playwright 환경이 약간 다를 수 있으므로 내부 평가 환경을 사용하였다.
평가 설정은 다음과 같다.
Temperature = 1.0
Context Window = 128K
수학 관련 벤치마크(AIME, HMMT, IMOAnswerBench, HLE)에서는 다음 템플릿을 사용하였다.
HLE의 경우 DeepSeek-V3.2-Thinking을 공식 템플릿으로도 평가했으며 23.9점을 기록했다.
DeepSeek-V3.2의 성능
DeepSeek-V3.2는 추론 벤치마크에서 GPT-5 High와 유사한 성능을 보였으며, Gemini-3.0-Pro보다는 약간 낮은 성능을 기록했다.
또한 Kimi-K2-Thinking과 비교했을 때 훨씬 적은 출력 토큰으로 유사한 성능을 달성하였다. 이러한 향상은 RL 학습에 투입된 계산량 증가에 기인한다. 최근 몇 달간 RL 학습 예산을 늘릴수록 성능이 지속적으로 향상되는 현상을 관찰했으며, 현재 RL 비용은 이미 사전학습 비용의 10%를 초과한다.
연구진은 추가적인 RL 연산 예산을 투입하면 reasoning 능력이 더 향상될 수 있다고 보고 있다.
Code Agent 성능
DeepSeek-V3.2는 다음 벤치마크에서 기존 오픈소스 모델들을 크게 앞선다.
SWE-Bench Verified
Terminal Bench 2.0
이는 실제 소프트웨어 개발 환경에서의 활용 가능성을 보여준다.
Terminal Bench 2.0의 경우 thinking mode 컨텍스트 관리 방식이 Terminus 프레임워크와 호환되지 않아 Claude Code 프레임워크로 평가했으며 46.4점을 기록했다.
반면 Terminus에서 non-thinking mode를 사용하면 39.3점을 기록하였다.
SWE-Bench Verified 역시 내부 프레임워크를 사용했으며, Claude Code 및 RooCode 환경에서도 72~74 수준의 일관된 성능을 보였다.
Search Agent 성능
Search Agent는 상용 Search API를 사용하여 평가하였다.
DeepSeek-V3.2는 최대 128K context만 지원하기 때문에 테스트셋의 약 20% 이상이 컨텍스트 길이 제한을 초과하였다. 이를 해결하기 위해 Context Management 기법을 적용하였다.
Context Management 미사용: 51.4
Context Management 사용: 67.6
즉 Context Management가 Search Agent 성능 향상에 매우 중요한 역할을 한다.
Tool-Use 성능
Tool-use 벤치마크에서 DeepSeek-V3.2는 오픈소스와 클로즈드소스 모델 간의 성능 격차를 크게 줄였지만, 여전히 최상위 모델보다는 낮은 수준이다.
MCP 벤치마크에서는 tool 출력을 user role이 아닌 tool role 메시지로 전달하였다.
평가 과정에서 DeepSeek-V3.2는 다음과 같은 특성을 보였다.
지나친 자기 검증(self-verification)
불필요하게 긴 trajectory 생성
이 때문에 컨텍스트 길이가 128K를 초과하는 경우가 자주 발생했으며, 특히 MCP-Mark GitHub 및 Playwright 평가에서 성능 저하의 원인이 되었다.
그럼에도 불구하고 기존 오픈모델 대비 상당한 성능 우위를 보였다.
특히 RL 학습에서 사용되지 않았던 환경과 도구에서도 성능 향상이 관찰되었는데, 이는 DeepSeek-V3.2가 학습한 추론 전략을 새로운 에이전트 환경으로 일반화할 수 있음을 보여준다.
4.2. DeepSeek-V3.2-Speciale 결과
DeepSeek-V3.2-Speciale은 더 많은 reasoning token을 활용함으로써 여러 벤치마크에서 Gemini-3.0-Pro를 능가하는 성능을 달성하였다.
특히 특정 작업에 맞춘 추가 학습 없이도 다음 대회에서 금메달 수준의 성능을 기록했다.
수학
대회 | 점수 | 메달 -- | -- | -- IMO 2025 | 35/42 | Gold CMO 2025 | 102/126 | Gold특히 Discard-all은 매우 단순하면서도 효율성과 확장성이 뛰어났다.
5. 결론 및 향후 연구
DeepSeek-V3.2는 계산 효율성과 고급 추론 능력 간의 균형을 달성하기 위해 설계되었다.
주요 성과는 다음과 같다.
DSA를 통해 긴 컨텍스트 성능을 유지하면서 계산량 감소
GPT-5 수준의 추론 성능 달성
대규모 Agent Task Synthesis를 통한 Tool-use 능력 향상
DeepSeek-V3.2-Speciale의 IMO·IOI 금메달 수준 성능 달성
하지만 여전히 다음 한계가 존재한다.
세계 지식(World Knowledge) 규모가 Gemini-3.0-Pro 등보다 부족
토큰 효율성이 낮음
매우 복잡한 문제 해결 능력은 최상위 모델보다 부족
향후 연구에서는
더 큰 사전학습 규모
더 높은 reasoning token 효율성
더욱 강력한 post-training 기법
을 통해 이러한 문제를 해결할 계획이다.