感知机(preceptron)是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别(-1, 1)。
定义:输入空间:$\mathcal{X}\subseteq\mathbb{R}^n$,输出空间:$\mathcal{Y}={+1,-1}$,输入实例:$x\in\mathcal{X}$,输出的实例类别:$y\in\mathcal{Y}$,则:
称为感知机。
$sign(x)=\left{\begin{aligned} +1\quad x\geq 0 \ -1\quad x<0\end{aligned}\right.$:符号函数
输入空间$\mathbb{R}^n$任一点$x_0$到,超平面
对于误分类数据:
考虑误分类点到超平面的总距离,于是有损失函数:
算法:
-
选取初值$\bold{w}_0,b_0$
-
在训练集选取数据$(x_i,y_i)$
-
梯度更新:
$$\left{\begin{aligned} \bold{w}=\bold{w}+\eta\nabla_{\bold{w}}L(\bold{w}, b)\ b=b+\eta\nabla_{b}L(\bold{w}, b)\end{aligned}\right.$$