LOCAL_LLM_HYBRID_ROUTING

Mac Studio 로컬 LLM + Claude Opus 하이브리드 라우팅 전략 — 논의 자료

⚠️ 이 문서는 논의·검토용 자료입니다. 현재 설계 결정에 반영된 내용이 아니며, 7개 설계 deliverable의 불변식을 바꾸지 않습니다. 모델 선택(claude-opus-4-7 vs claude-sonnet-4-6)은 SYSTEM_DESIGN §15에서 미결로 남아 있으며, 이 문서는 로컬 LLM을 세 번째 후보로 추가 검토하는 메모입니다.

작성일: 2026-05-27

현재 orchestrator는 Anthropic Claude SDK를 통해 claude-opus-4-7 또는 claude-sonnet-4-6을 호출한다 (SYSTEM_DESIGN §15, OSS_INTEGRATION §3.3). "Mac Studio 장비가 확보되어 있다면 로컬 LLM을 도입해 비용·지연·오프라인 가용성을 개선할 수 있는가"를 검토한 메모.

---

1. Mac Studio 하드웨어 역량

Apple Silicon의 통합 메모리(Unified Memory) 는 CPU와 GPU/Neural Engine이 동일 메모리를 공유하므로, LLM 추론 시 VRAM 병목 없이 전체 RAM을 모델 가중치에 활용할 수 있다. 이것이 동급 가격대 Windows 워크스테이션 대비 로컬 LLM 운영에서 가장 큰 이점이다.

장비	통합 메모리	메모리 대역폭	실용 LLM 크기 상한
Mac Studio M4 Max (128 GB)	128 GB	~546 GB/s	70B Q4~Q6, 32B Q8
Mac Studio M4 Ultra (192 GB)	192 GB	~800 GB/s	70B Q8, ~120B Q4
Mac Studio M3 Ultra (192 GB)	192 GB	800 GB/s	동상
Mac Studio M2 Ultra (192 GB)	192 GB	800 GB/s	동상

핵심 제약 — Llama 3.1 405B 불가: 4-bit 양자화(Q4_K_M) 기준으로도 405B 모델은 ~230 GB가 필요하다. 192 GB 장비에서 완전 인메모리 실행이 불가능하고, 디스크 오프로드 시 추론 속도가 10–50배 저하되어 실시간 로보틱스 용도에 부적합하다.

---

2. Mac Studio에서 실용적인 로컬 LLM 후보

2.1 모델 비교

모델	파라미터	Q4_K_M 파일 크기	권장 장비	주요 특징
Qwen3 72B	72B	~45 GB	M4 Max 128 GB↑	2025년 최신, 추론·한국어 우수, thinking mode 지원
Llama 3.3 70B	70B	~42 GB	M4 Max 128 GB↑	Meta 최신 70B, instruction following 안정적
Qwen 2.5 72B	72B	~45 GB	M4 Max 128 GB↑	구조화 출력·코딩 강점, JSON 스키마 준수 높음
DeepSeek R1 Distill 70B	70B	~42 GB	M4 Max 128 GB↑	Chain-of-Thought 추론 특화, 복잡한 계획 수립
Mistral Large 2 (123B)	123B	~75 GB	M4 Ultra 192 GB↑	70B급 대비 품질 향상, Ultra 전용

2.2 추론 속도 (실시간성 판단 기준)

모델	장비	생성 속도	100 토큰 응답 시간
70B Q4_K_M	M4 Ultra 192 GB	~40–50 tok/s	~2–2.5초
70B Q4_K_M	M4 Max 128 GB	~28–38 tok/s	~3–4초
70B Q8	M4 Ultra 192 GB	~22–30 tok/s	~4–5초
123B Q4_K_M	M4 Ultra 192 GB	~18–25 tok/s	~5–6초

현재 설계에서 vision/zone/enter → orchestrator 결정 → MCP tool dispatch 루프의 허용 지연은 명시되어 있지 않다. 그러나 로봇 물리 동작 개시 전까지 3–5초는 대부분의 상호작용 시나리오에서 수용 가능한 범위다. 긴급 경로(e-stop, 충돌 회피)는 HA 룰 기반 fallback이 커버한다 (OPERATIONS §폴백/e-stop).

2.3 Claude Opus와의 성능 격차

Claude Opus 4.7   ████████████████████  기준선 (추정 1T+ 파라미터)
Qwen3 72B         █████████████░░░░░░░  구조화 태스크·추론 ~70%
Llama 3.3 70B     ████████████░░░░░░░░  instruction following ~65%
Claude Sonnet 4.6 ████████████████░░░░  ~80% (API 비용 절감 경로)

솔직한 평가: 70B 로컬 모델은 Opus의 멀티스텝 추론·안전 critical 판단 수준에 도달하지 못한다. 그러나 도메인이 좁고 가드레일이 이미 MCP 서버 측에 강제되어 있는 이 프로젝트에서는, JSON schema → capability whitelist → zone polygon clamp → velocity clamp 4단계가 모델 출력을 검증하므로 단순·루틴 결정에는 70B가 실용적이다.

---

3. 실행 프레임워크

프레임워크	특징	이 프로젝트 적합도
Ollama	OpenAI 호환 API, Metal 가속, 모델 버전 관리 용이	★★★★★
llama.cpp server	저수준, 최고 성능, 설정 복잡	★★★★☆
MLX-LM	Apple Silicon 최적화, Python native, Apple 공식 지원	★★★★☆
LM Studio	GUI, 탐색·프로토타이핑 전용	★★★☆☆

권장: Ollama. /v1/chat/completions OpenAI 호환 엔드포인트를 그대로 노출하므로 orchestrator 코드를 거의 건드리지 않고 연동 가능하다. Metal 가속이 자동으로 적용되며, ollama pull qwen3:72b 한 줄로 모델을 내려받아 즉시 서빙할 수 있다.

---

4. 하이브리드 라우팅 전략

Claude Opus API와 로컬 LLM을 태스크 특성에 따라 동적으로 선택한다. 단일 모델 고정 대비 장점은 다음과 같다.

• 비용: 루틴 결정의 80%를 로컬로 처리 → API 호출 비용 대폭 절감
• 지연: 로컬 70B는 첫 토큰까지 0.3–0.5초로 Claude API(1–3초)보다 빠름
• 오프라인 가용성: 네트워크 장애 시 로컬 LLM으로 graceful degradation

4.1 라우팅 결정 기준

아래 세 축의 조합으로 모델을 선택한다.

축	로컬 LLM 선택	Claude Opus 선택
복잡도	단일 zone 진입 → 단순 동작 1개	다중 조건, 복합 계획, 멀티 tool chain
안전 등급	safety_level: low — 전시 영역 이동 등	safety_level: high — 군중 접근, e-stop 판단
네트워크	오프라인 / API 응답 지연 ≥ 2s	정상 연결

4.2 모델 선택 로직 (의사 코드)

# orchestrator/router.py  (illustrative spec)
from enum import Enum

class ModelTier(Enum):
    LOCAL   = "local"    # Ollama 로컬 LLM
    SONNET  = "sonnet"   # claude-sonnet-4-6 (중간 비용)
    OPUS    = "opus"     # claude-opus-4-7   (최고 품질)

def select_model(event: ZoneEvent, ctx: SessionContext) -> ModelTier:
    # 1순위: 네트워크 상태 (오프라인 강제 로컬)
    if not ctx.api_reachable:
        return ModelTier.LOCAL

    # 2순위: 안전 등급 (safety_level은 zones.yaml에 정의)
    zone = ctx.zone_registry[event.zone_id]
    if zone.safety_level == "high":
        return ModelTier.OPUS        # 군중 접근, 협소 구역 등

    # 3순위: 복잡도 점수
    complexity = estimate_complexity(event, ctx)
    # complexity: 관련 zone 수, 활성 세션 수, 보류 중 tool 수 합산
    if complexity >= COMPLEXITY_THRESHOLD:   # 설정값, 초기값 3
        return ModelTier.OPUS
    elif complexity >= SIMPLE_THRESHOLD:     # 설정값, 초기값 1
        return ModelTier.SONNET
    else:
        return ModelTier.LOCAL

def estimate_complexity(event: ZoneEvent, ctx: SessionContext) -> int:
    score = 0
    score += len(event.overlapping_zones)    # 교차 zone 수
    score += len(ctx.pending_tool_calls)     # 미완료 tool call 수
    score += (1 if ctx.active_sessions > 3 else 0)  # 동시 세션 과부하
    return score

4.3 라우팅 흐름도

MQTT vision/zone/enter
        │
        ▼
  [Router.select_model()]
        │
   ┌────┴────────────────────┐
   │                         │
API 불가?                API 가능?
   │                         │
   ▼                    zone.safety_level?
LOCAL LLM               │           │
(Ollama)               HIGH        LOW/MED
                        │           │
                     OPUS      complexity score
                             ┌──────┼──────┐
                            ≥3    1–2      0
                             │      │      │
                           OPUS  SONNET  LOCAL
                                          │
                                     (Ollama)
        │
        ▼
  [가드레일 공통 경로]
  JSON schema 검증 → capability whitelist
  → zone polygon clamp → velocity clamp
        │
        ▼
  MCP tool dispatch (robot-adapter / ha-bridge / tablet-gateway)

⚠️ 가드레일 4단계는 모델 티어와 무관하게 항상 실행된다. LOCAL 모델 출력이 가드레일을 통과하지 못하면 명령은 폐기되고 Prometheus 카운터가 증가한다. 이 경우 HA 룰 기반 fallback이 활성화된다.

4.4 라우팅 결과 추적

라우팅 결정 자체를 가시화하여 모델 선택 비율, 로컬 LLM 가드레일 거부율을 지속 모니터링한다.

# illustrative: 라우팅 결과 메트릭 기록
router_decision_counter.labels(
    tier=selected_tier.value,
    zone_safety=zone.safety_level,
    complexity_band=complexity_band,   # "low" / "medium" / "high"
    offline=str(not ctx.api_reachable),
).inc()

---

5. Claude SDK 연동 방식

현재 orchestrator는 anthropic SDK를 직접 사용한다. 로컬 LLM 연동 시 두 가지 경로가 있다.

경로 A: OpenAI 호환 래퍼 (권장)

Ollama가 /v1/chat/completions를 노출하므로 openai SDK로 동일하게 호출한다. LangGraph 그래프 노드에서 provider를 추상화하면 설정값 변경만으로 Claude API ↔ 로컬 LLM을 전환할 수 있다.

# illustrative: provider 추상화 (LangGraph 노드)
def make_llm_client(tier: ModelTier):
    if tier == ModelTier.LOCAL:
        from openai import AsyncOpenAI
        return AsyncOpenAI(
            base_url="http://localhost:11434/v1",
            api_key="ollama",              # Ollama는 인증 불필요
        ), "qwen3:72b"
    elif tier == ModelTier.SONNET:
        import anthropic
        return anthropic.AsyncAnthropic(), "claude-sonnet-4-6"
    else:
        import anthropic
        return anthropic.AsyncAnthropic(), "claude-opus-4-7"

경로 B: LiteLLM 통합 레이어

litellm.completion("ollama/qwen3:72b", ...) 형태로 단일 인터페이스를 유지. 프레임워크 종속성이 늘어나는 단점이 있으나, 로깅·비용 추적·fallback 로직을 한 곳에서 관리할 수 있다.

---

6. 프롬프트 캐싱 고려사항

현재 설계는 시스템 프롬프트 + zone 플레이북이 안정적이므로 Anthropic 프롬프트 캐싱을 사용한다 (SYSTEM_DESIGN §15). 로컬 LLM 라우팅 시 주의할 점:

• 로컬 LLM에는 프롬프트 캐싱이 없다. 시스템 프롬프트 토큰이 매 호출마다 처리되므로, 프롬프트를 간결하게 유지하는 것이 로컬 경로에서 중요하다.
• Ollama는 컨텍스트를 메모리에 보존하는 keep_alive 옵션을 지원한다. 연속 호출 시 KV cache 재사용 효과를 얻을 수 있다.
• Claude API 경로에서는 기존과 동일하게 cache_control: ephemeral 블록을 시스템 프롬프트 끝에 붙인다.

---

7. 미결 이슈와의 연관

SYSTEM_DESIGN §15에서 Opus vs Sonnet 결정이 미결로 남아 있다. 이 문서에서 제안하는 하이브리드 라우팅은 그 결정을 "둘 다, 태스크에 따라" 로 재프레이밍한다. 세 번째 후보(로컬 LLM)를 추가할 경우 §15에 다음 항목을 추가해야 한다:

• 로컬 LLM 가드레일 거부율 허용 임계값 합의 (초기값 제안: 5% 이상 시 tier 상향)
• COMPLEXITY_THRESHOLD / SIMPLE_THRESHOLD 초기값 확정 (현재: 3 / 1)
• 하이브리드 모드 활성화 조건 (항상 on vs. 오프라인 fallback 전용)
• Mac Studio 장비 운영 주체 및 네트워크 배치 (온사이트 상시 가동 전제)

---

8. 결론 및 권고

항목	권고
하드웨어	Mac Studio M4 Ultra (192 GB) — 70B Q8 또는 Mistral Large 2 Q4 실용 범위
1순위 모델	Qwen3 72B Q4_K_M — 추론·한국어·구조화 출력 균형 최상
2순위 모델	Llama 3.3 70B Q4_K_M — instruction following 안정성
실행 프레임워크	Ollama (Metal 가속, OpenAI 호환 API)
통합 전략	하이브리드 라우팅 — 안전등급·복잡도·네트워크 3축 기준
Opus 동등성	불가 — 70B 로컬 모델은 복합 추론에서 의미 있는 격차 존재; 가드레일 보강으로 보완
즉시 적용 여부	미결 — §15 결정 후 propagation 필요