토큰화(Tokenization)

[k9425mino]

📆 일자: 26년 8월 5일(수)

이번 키워드 스터디 주제는 '토큰화(Tokenizaiton)'와 관련된 것들입니다.

🤔 Questions

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?