[toc]

关于这个仓库

这个仓库是我学习NLP相关知识的笔记，将结合一些示例，做成一个学习NLP的入门级教程。本仓库的代码或者公式文字若存在描述不清的地方或者错误的地方，还请直接指出。我期望在您的帮助下把这个笔记仓库做成更好。

所有内容由jupyter lab结合一个Python内核编写，所以，若果您有兴趣读下去，那么请clone或者fork本仓库，运行一个jupyter环境浏览。

笔记的参考内容包括但不限于：

• 李航<<统计学习方法>>第二版
• 邱锡鹏<<神经网络与深度学习>>
• B站白板推导系列
• 知乎上的一些专栏或者回答

知识点

如果需要直接查看整个仓库包含了那些文件可以参数index, 或者在终端中使用tree工具。

工具

工欲善其事，必先利其器。掌握基础的工具才能让你实现想法的时候游刃有余

• Numpy

• Pandas

• Matplotlib

• PyTorch

  链接只指向的code/pytorch目录，该目录下有六个示例文件。涵盖了PyTorch中的一些基础概念，若需要更多信息，请查看pytorch官网。

数学基础

方法	代码示例或者说明
矩阵求导
softmax
Likehood
Smoothing

机器学习

EM是一种思想，在无监督的情况下对参数进行估计。

Regularization是机器学习和深度学习算法都需要处理的问题，目的是防止模型过拟合。

模型 OR 算法	example
Linear Regression	pytorch exmaple
LASSO	Coordinate Descent
Ridge Regression	解析式法
Logistic Regression	pytorch example
Naive Bayes	pandas example
Support Vector Machine	sklearn api example
Hidden Markov Model	numpy example
Conditional Random Field	LSTM + CRF

深度学习

模型 or 算法	example
前馈神经网络	numpy实现简单FNN
卷积神经网络	Pytorch官网示例总结
循环神经网络
长短期记忆网络	PyTorch实现简单示例
Transformer	The Annotated Transformer推荐必读，语言模型
Evalution Method
参数优化
GRU
参数初始化
网络归一化
超参数优化

NLP

模型 OR算法	ExAMPLE
分词	文件中自带了简单示例
语言模型
PerPlexity
序列标注	LSTM + CRF
Word Embedding	一份简单的Skip gram示例
编辑距离	在同一文件内
[文本分类]
[信息抽取]
[文本摘要]
[seq2seq]

安装包

• Numpy
• Pandas
• Matplotplot
• Pytorch
• scikit-learn