fix(tokenizer): tokenize offset 계산이 다중 공백에서 틀리는 버그 수정

[lovit]

Summary

• sentence.split() + offset += len(token) + 1 조합이 연속 공백 시 Token.begin/end 오류를 발생시키던 버그 수정
• re.finditer(r'\S+', sentence)로 교체하여 각 eojeol의 실제 위치를 직접 추출

변경 전/후

# 변경 전
tokenize('hello  world', return_words=False)
# Token(world, begin=6, ...)  ← 실제 위치는 7  ❌

# 변경 후
tokenize('hello  world', return_words=False)
# Token(world, begin=7, ...)  ✓

관련 이슈

Closes #280

🤖 Generated with Claude Code