PythonRustNode
🤗 Tokenizers 在 Python 3.5+上进行了测试。
您应该在virtual environment中安装🤗 Tokenizers。如果您不熟悉 Python 虚拟环境,请查看用户指南。使用您要使用的 Python 版本创建一个虚拟环境并激活它。
🤗 Tokenizers 可以通过 pip 进行安装,如下所示:
pip install tokenizers
要使用这种方法,您需要安装 Rust 语言。您可以查看官方指南获取更多信息。
如果您使用的是基于 unix 的操作系统,安装应该很简单,只需运行:
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
或者您可以使用以下命令轻松更新:
rustup update
一旦安装了 Rust,我们就可以开始检索🤗 Tokenizers 的源代码:
git clone https://github.com/huggingface/tokenizers
然后我们进入 python 绑定文件夹:
cd tokenizers/bindings/python
此时您应该已经激活了虚拟环境。为了编译🤗 Tokenizers,您需要安装 Python 包setuptools_rust
:
pip install setuptools_rust
然后您可以使用以下命令在虚拟环境中编译和安装🤗 Tokenizers:
python setup.py install