课程大纲：
第一课：机器学习的数学基础1 - 数学分析
- 机器学习的一般方法和横向比较
- 数学是有用的：以SVD为例
- 机器学习的角度看数学
- 复习数学分析
- 直观解释常数e
- 导数/梯度
- 随机梯度下降
- Taylor展式的落地应用
- gini系数
- 凸函数
- Jensen不等式
- 组合数与信息熵的关系
第二课：机器学习的数学基础2 - 概率论与贝叶斯先验
- 概率论基础
- 古典概型
- 贝叶斯公式
- 先验分布/后验分布/共轭分布
- 常见概率分布
- 泊松分布和指数分布的物理意义
- 协方差(矩阵)和相关系数
- 独立和不相关
- 大数定律和中心极限定理的实践意义
- 深刻理解最大似然估计MLE和最大后验估计MAP
- 过拟合的数学原理与解决方案
第三课：机器学习的数学基础3 - 矩阵和线性代数
- 线性代数在数学科学中的地位
- 马尔科夫模型
- 矩阵乘法的直观表达
- 状态转移矩阵
- 矩阵和向量组
- 特征向量的思考和实践计算
- QR分解
- 对称阵、正交阵、正定阵
- 数据白化及其应用
- 向量对向量求导
- 标量对向量求导
- 标量对矩阵求导
第四课：Python基础1 - Python及其数学库
- 解释器Python2.7与IDE：Anaconda/Pycharm
- Python基础：列表/元组/字典/类/文件
- Taylor展式的代码实现
- numpy/scipy/matplotlib/panda的介绍和典型使用
- 多元高斯分布
- 泊松分布、幂律分布
- 典型图像处理
- 蝴蝶效应
- 分形
第五课：Python基础2 - 机器学习库
- scikit-learn的介绍和典型使用
- 损失函数的绘制
- 多种数学曲线
- 多项式拟合
- 快速傅里叶变换FFT
- 奇异值分解SVD
- Soble/Prewitt/Laplacian算子与卷积网络
- 卷积与(指数)移动平均线
- 股票数据分析
第六课：Python基础3 - 数据清洗和特征选择
- 实际生产问题中算法和特征的关系
- 股票数据的特征提取和应用
- 一致性检验
- 缺失数据的处理
- 环境数据异常检测和分析
- 模糊数据查询和数据校正方法、算法、应用
- 朴素贝叶斯用于鸢尾花数据
- GaussianNB/MultinomialNB/BernoulliNB
- 朴素贝叶斯用于18000+篇/Sogou新闻文本的分类
第七课： 回归
- 线性回归
- Logistic/Softmax回归
- 广义线性回归
- L1/L2正则化
- Ridge与LASSO
- Elastic Net
- 梯度下降算法：BGD与SGD
- 特征选择与过拟合
第八课：Logistic回归
- Sigmoid函数的直观解释
- Softmax回归的概念源头
- Logistic/Softmax回归
- 最大熵模型
- K-L散度
- 损失函数
- Softmax回归的实现与调参
第九课：回归实践
- 机器学习sklearn库介绍
- 线性回归代码实现和调参
- Softmax回归代码实现和调参
- Ridge回归/LASSO/Elastic Net
- Logistic/Softmax回归
- 广告投入与销售额回归分析
- 鸢尾花数据集的分类
- 交叉验证
- 数据可视化
第十课：决策树和随机森林
- 熵、联合熵、条件熵、KL散度、互信息
- 最大似然估计与最大熵模型
- ID3、C4.5、CART详解
- 决策树的正则化
- 预剪枝和后剪枝
- Bagging
- 随机森林
- 不平衡数据集的处理
- 利用随机森林做特征选择
- 使用随机森林计算样本相似度
- 数据异常值检测
第十一课：随机森林实践
- 随机森林与特征选择
- 决策树应用于回归
- 多标记的决策树回归
- 决策树和随机森林的可视化
- 葡萄酒数据集的决策树/随机森林分类
- 波士顿房价预测
第十二课：提升
- 提升为什么有效
- 梯度提升决策树GBDT
- XGBoost算法详解
- Adaboost算法
- 加法模型与指数损失
第十三课：提升实践
- Adaboost用于蘑菇数据分类
- Adaboost与随机森林的比较
- XGBoost库介绍
- Taylor展式与学习算法
- KAGGLE简介
- 泰坦尼克乘客存活率估计
第十四课：SVM
- 线性可分支持向量机
- 软间隔的改进
- 损失函数的理解
- 核函数的原理和选择
- SMO算法
- 支持向量回归SVR
第十五课：SVM实践
- libSVM代码库介绍
- 原始数据和特征提取
- 调用开源库函数完成SVM
- 葡萄酒数据分类
- 数字图像的手写体识别
- SVR用于时间序列曲线预测
- SVM、Logistic回归、随机森林三者的横向比较
第十六课：聚类（上）
- 各种相似度度量及其相互关系
- Jaccard相似度和准确率、召回率
- Pearson相关系数与余弦相似度
- K-means与K-Medoids及变种
- AP算法(Sci07)/LPA算法及其应用
第十七课：聚类（下）
- 密度聚类DBSCAN/DensityPeak(Sci14)
- DensityPeak(Sci14)
- 谱聚类SC
- 聚类评价AMI/ARI/Silhouette
- LPA算法及其应用
第十八课：聚类实践
- K-Means++算法原理和实现
- 向量量化VQ及图像近似
- 并查集的实践应用
- 密度聚类的代码实现
- 谱聚类用于图片分割
第十九课：EM算法
- 最大似然估计
- Jensen不等式
- 朴素理解EM算法
- 精确推导EM算法
- EM算法的深入理解
- 混合高斯分布
- 主题模型pLSA
第二十课：EM算法实践
- 多元高斯分布的EM实现
- 分类结果的数据可视化
- EM与聚类的比较
- Dirichlet过程EM
- 三维及等高线等图件的绘制
- 主题模型pLSA与EM算法
第二十一课：主题模型LDA
- 贝叶斯学派的模型认识
- 共轭先验分布
- Dirichlet分布
- Laplace平滑
- Gibbs采样详解
第二十二课：LDA实践
- 网络爬虫的原理和代码实现
- 停止词和高频词
- 动手自己实现LDA
- LDA开源包的使用和过程分析
- Metropolis-Hastings算法
- MCMC
- LDA与word2vec的比较
第二十三课：隐马尔科夫模型HMM
- 概率计算问题
- 前向/后向算法
- HMM的参数学习
- Baum-Welch算法详解
- Viterbi算法详解
- 隐马尔科夫模型的应用优劣比较
第二十四课：HMM实践
- 动手自己实现HMM用于中文分词
- 多个语言分词开源包的使用和过程分析
- 文件数据格式UFT-8、Unicode
- 停止词和标点符号对分词的影响
- 前向后向算法计算概率溢出的解决方案
- 发现新词和分词效果分析
- 高斯混合模型HMM
- GMM-HMM用于股票数据特征提取