Skip to content

Latest commit

 

History

History
16 lines (12 loc) · 928 Bytes

README.md

File metadata and controls

16 lines (12 loc) · 928 Bytes

FastTokenizer 编译指南

本文档说明编译 FastTokenizer C++ 库、Python 库以及 Android 库三种编译过程,根据编译的平台参考如下文档

FastTokenizer 使用 CMake 编译,其中编译过程中,各平台上编译选项如下表所示

选项 作用 备注
WITH_PYTHON 是否编译为 Python 库,默认为是,否则为 C++ 库
WITH_TESTING 是否编译 C++ 单测,默认为否
WITH_ICU_LITE 是否与 ICU Lite 依赖包联编,打开后可减小 FastTokenizer 库体积,默认为否 只能用于 Andriod 编译,打开后 FastTokenizer 库体积大小从 32 M 减少到 7.4 M,但只能对中英文进行分词。
USE_ABI0 是否编译_GLIBCXX_USE_CXX11_ABI=0, 默认为OFF。