PyCutter

本项目主要是一个分词器的实现。除了基本的代码实现外，也会有多篇博客来讲解本项目是如何实现的。 希望对学习分词器的同学能够有所启迪。

本项目基于 Python 3.68 实现。所用包可以参考 requirements.txt。

教程

1. Uni-Gram 分词
2. HMM 分词
3. End2end 端对端分词

训练语料可以参考：icbw2

用法

安装所需的包：

pip install -r requirements.txt

在 Python 中使用：

命令行使用：

License

MIT