このページには、トークナイザーによって使用されるすべてのユーティリティ関数 (主にクラス) がリストされます。
[~tokenization_utils_base.PreTrainedTokenizerBase] 間の共通メソッドを実装します。
[PreTrainedTokenizer] と [PreTrainedTokenizerFast] およびミックスイン
[~tokenization_utils_base.SpecialTokensMixin]。
これらのほとんどは、ライブラリ内のトークナイザーのコードを学習する場合にのみ役に立ちます。
[[autodoc]] tokenization_utils_base.PreTrainedTokenizerBase - call - all
[[autodoc]] tokenization_utils_base.SpecialTokensMixin
[[autodoc]] tokenization_utils_base.TruncationStrategy
[[autodoc]] tokenization_utils_base.CharSpan
[[autodoc]] tokenization_utils_base.TokenSpan