3、深入理解单神经元：原理、激活函数与线性回归应用

深入理解单神经元：原理、激活函数与线性回归应用

1. 神经元结构概述

深度学习依赖由大量简单计算单元组成的复杂网络。这些基本计算单元被称为神经元，类比大脑中的神经元得名。每个神经元接收一定数量的输入（实数），并计算出一个输出（同样为实数）。输入通常用 (x_i \in \mathbb{R}) 表示，其中 (i = 1, 2, \ldots, n_x)，(n_x) 是输入属性（特征）的数量。例如，预测一个人的某些信息时，(x_1) 可以是年龄，(x_2) 可以是体重。

常见的神经元会对所有输入进行线性组合，再应用一个函数 (f) 得到输出 (\hat{y})。具体计算步骤如下：
1. 计算线性组合 (z = w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b)，其中 (w_i) 是权重，(b) 是偏置。
2. 应用函数 (f) 得到输出 (\hat{y} = f(z) = f(w_1x_1 + w_2x_2 + \cdots + w_{n_x}x_{n_x} + b))。

在实际应用中，为了更方便处理大数据集，通常使用矩阵表示法。特征向量 (\mathbf{x}) 和权重向量 (\mathbf{w}) 可以表示为：
(\mathbf{x} = \begin{bmatrix} x_1 \ x_2 \ \vdots \ x_{n_x} \end{bmatrix})，(\mathbf{w} = \begin{bmatrix} w_1 \ w_2 \ \vdots \ w_{n_x} \end{bmatrix})

此时，(z) 可以表示为 (z = \mathbf{w}^T\mathbf{x} + b