DATA ANALYSIS

Run

docker-compose up -d
docker配置尽量最大，要小心内存不够

分词 --> 计算TF --> 计算IDF --> 计算TF_IDF 目前的处理逻辑主要在tf_idf.py中。

不再使用消息队列，直接通过多进程加速。

4核（2.7G i5） 8G配置：30w documents，2~3 hours

python commands.py --help

Name		Name	Last commit message	Last commit date
Latest commit History 65 Commits
.vscode		.vscode
.gitignore		.gitignore
Dockerfile		Dockerfile
README.md		README.md
analysis.py		analysis.py
arch.png		arch.png
commands.py		commands.py
data.py		data.py
docker-compose.yml		docker-compose.yml
main.py		main.py
requirements.txt		requirements.txt
settings.py		settings.py
stopword.txt		stopword.txt
stopwords.py		stopwords.py
text_rank.py		text_rank.py
tf_idf.py		tf_idf.py
word_segment.py		word_segment.py