[BUG] ZenzaiにおいてByte Fallbackが発生するケースがカバーされていない

[ensan-hcl]

zenz-v1は文字レベルBPEトークナイザを利用しており、語彙に含まれない文字が現れた場合はUTF-8のバイトレベルの分割を行う。
したがって、Next Token Probabilityが最大であるようなトークンをとった時、これがバイトレベルのトークンの可能性がある。

しかし、現在はConstraintがSwiftの文字列で示されているため、UTF-8としてinvalidな状態のテキストはConstraintとして扱えない。
文字列を中間表現とするのをやめ、UTF-8コードポイントで直接これを扱うようにしたい。

なお、ほとんどのケースでバイトレベルのトークンは現れないため、基本的にはエッジケースのみで生じる