损失函数是啥

mse,最小均方误差:

最小二乘/梯度下降手推

最小二乘
- 损失函数：
- 求导可得：
  - 使右侧为0可得：
  - 如果X点乘X的转置可逆则有唯一解，否则无法如此求解
梯度下降
- 损失函数：
- 求导可得梯度：

介绍一下岭回归

加上l2的线性回归：

在用最小二乘推导的过程和上面一样，最后在结果上进行了平滑，保证有解：

什么时候使用岭回归？

样本数少，或者样本重复程度高

什么时候用Lasso回归？

特征过多，稀疏线性关系，目的为了在一堆特征里面找出主要的特征