refactor(tokenizer): _tokenize char-by-char 루프를 re.sub으로 교체

[lovit]

Summary

• _tokenize 내부의 findall + char-by-char 순회 로직을 pattern.sub(lambda m: f" {m.group()} ", s)로 교체
• 34줄 → 13줄 (62% 감소)
• % 포매팅 제거 — f-string으로 자연 대체 (style(tokenizer): RegexTokenizer._tokenize % 포매팅을 f-string으로 변환 #282 해소)
• 빈 문자열 가드 추가 (if not words: return [])
• 타입 어노테이션 추가

변경 전/후

# 변경 전 (34줄)
def _tokenize(self, s, offset=0, eojeol_id=0):
    for pattern in self.pipelines:
        founds = pattern.findall(s)
        if not founds:
            continue
        found = founds.pop(0)
        len_found = len(found)
        s_ = ""
        begin = 0
        for i, char in enumerate(s):
            if begin > i:
                continue
            if s[i : i + len_found] == found:
                s_ += " %s " % s[i : i + len_found]
                ...
        s = s_
    ...

# 변경 후 (13줄)
def _tokenize(self, s: str, offset: int = 0, eojeol_id: int = 0) -> list[Token]:
    for pattern in self.pipelines:
        s = pattern.sub(lambda m: f" {m.group()} ", s)
    ...

관련 이슈

Closes #281
Closes #282

🤖 Generated with Claude Code