参数估计（一）

经验风险最小化

• 模型选择（预测器）
  -- 线性模型：线性回归（仿射变换）
  -- 非线性模型：有，实例是什么？

模型评价

• 损失函数
  -- 输入：预测值、真实值
  -- 输出：非负值（称为损失）
  -- 目标：寻找一个好的参数向量 \(\theta^*\) ，使损失最小
  -- 自定义损失函数：N个训练样本上的平均损失

• 假设
  -- 假设N个“样本-标签”对相互独立同分布，即相互不存在统计依赖
  -- 经验均值是总体均值的良好估计，对于损失同样适用
  -- 可以用样本损失近似估计总体损失均值，损失越小，模型越好

• 最小二乘（LS）
  -- 方差最小化，Least Square
  -- 平均损失：\(R_{emp}(f,X,y)=\frac{1}{N}\sum_{n=1}^{N} L(y_n,\hat{y_n})\)，又称经验风险
  -- \(\hat{y_n}\) 是预测器的输出值，\(\hat{y_n}=f(x_n,\theta)\)

• 最小二乘问题：\(arg \min_{\theta \in R^D} \frac {1}{N} ||y-X\theta||^2\)
  -- 通过求解正规方程，可以得到解析解
  -- 最小化 \(||y-X\theta||^2\)
  -- 就是要最小化 \(（y-X\theta）^T（y-X\theta）\)
  -- 近似于要求解方程 \(y-X\theta=0\)
  -- 最终 \(\theta\) 的解析解 \(\theta=(X^TX)^{-1}X^Ty\) （过程略，网上随便搜一下就有变换过程）