（一）基础：线性模型

线性模型（linear model）是机器学习中应用最广泛的模型，通过样本特征的线性组合来进行预测的模型。给定一个D维的样本，其线性组合函数为在分类问题中，输出目标y是离散的标签，的值域是实数，因此需要引入一个非线性的决策函数来预测输出目标y，即，称为判别函数。

1. 线性判别函数和决策边界

一个线性分类模型（linear classification model）或线性分类器（linear classifier）是由一个或多个线性判别函数和非线性决策函数组成。

（1）二分类

二分类（binary classification）问题的类别标签y只有2种取值（{+1，-1}或{0，1}），常用{+1，1}表示正例（postitive sample），{-1，0}表示负例（negative sample）。线性判别函数的特征空间中所有满足的点组成一个分割超平面（hyperplane）称为决策边界或决策平面，其将特征空间划分成2个区域，每个区域对应一个类别。决策函数可以是符号函数（sign function）

线性分类模型：是指其决策边界是线性超平面，在特征空间中决策平面与权向量正交，特征空间中每个样本点到决策平面的有向距离（signed distance）为

（2）多分类

2 二分类模型

2.1 Logistic回归

2.2 感知器

2.3支持向量机

2.2Softmax回归