神经网络原理 第九章：自组织映射

一、 简介 (9.1节)

自组织映射是神经网络无教师学习部分的重要章节。与第8章的主分量分析（PCA）关注数据的方差最大方向不同，SOM关注的是数据的拓扑结构和空间分布。

本章将竞争学习应用于构造计算映射，即一种从高维输入空间到低维（通常是二维）神经元网格的拓扑有序映射。SOM的核心在于模拟大脑皮层中“近邻者相互激励，远邻者相互抑制”的侧抑制现象，从而实现特征的空间自组织。

通俗理解：如果把数据比作一群在三维空间中散布的星星，PCA是找出一条穿过星星中心、方向最“拉长”的轴来描述它们。而SOM更像是一张“弹性渔网”，被扔进星星群里。随着学习，这张网会自动变形、拉伸，试图去“包裹”住这些星星。最终，星星在三维空间中的邻居关系，会被很好地保存在这张二维渔网的网格结构中。这就是拓扑保持：输入空间相近的点，在SOM网格上也相近。

二、 两个基本的特征映射模型 (9.2节)

在深入SOM算法前，先了解其生物学灵感和两种基础模型。

1. Willshaw-von der Malsburg模型：最早的生物特征映射模型，基于Mexican Hat（墨西哥帽）侧抑制机制。近邻兴奋、远邻抑制、更远弱兴奋。这保证了只有局部区域的神经元能“赢得”竞争，形成局部的活动泡。
2. Kohonen模型（SOM）：简化了复杂的侧抑制结构，采用竞争学习+邻域合作的策略。它不计算复杂的侧向连接权值，而是通过一个邻域函数直接定义获胜者周围的影响范围，这使得算法更简洁、更适合工程应用。

三、 自组织映射（SOM）算法 (9.3 & 9.4节)

这是本章的核心。SOM算法通过三个核心过程实现自组织：竞争、合作、适应。

💡 核心公式通俗讲解：SOM如何自组织

1. 竞争过程（寻找胜者）

对于输入向量 x，每个神经元 j 有一个权值向量 wj​。计算输入与各权值向量的相似度（通常用欧几里德距离），距离最小的神经元获胜：

i(x)=argminj​∥x−wj​∥

通俗讲解：这就像拍卖会，每个神经元都根据自己的“库存”（权值）与“需求”（输入）的匹配程度出价。最匹配的那个神经元赢得当前输入的“拥有权”，成为获胜神经元。

2. 合作过程（定义邻域）

获胜神经元不仅自己兴奋，还会激发周围的神经元。兴奋强度随距离衰减，由邻域函数hj,i(x)​ 决定：

hj,i(x)​=exp(−2σ2dj,i(x)2​​)

其中 dj,i(x)​ 是神经元 j 与获胜神经元 i(x) 在网格上的拓扑距离，σ 是邻域半径。

通俗讲解：获胜神经元就像投入水中的石子，激起涟漪。距离中心越近，波纹越高（兴奋越强）；越远则越弱。σ 控制了“涟漪”能传多远。σ随时间收缩，意味着初期大家“一起学”（粗调），后期只有获胜者“自己学”（精调）。

3. 适应过程（权值更新）

对获胜者及其邻域内的神经元，将权值向输入向量“拉近”：

Δwj​=η⋅hj,i(x)​⋅(x−wj​)

其中 η 是学习率。

通俗讲解：这是SOM的“引力法则”。输入向量 x 像一块磁铁，把获胜者及其邻居的权值向量吸向自己。吸力大小取决于距离（邻域函数）。通过不断吸入新的数据点，SOM网络那张“渔网”逐渐散开，覆盖了数据的分布区域。

四、 特征映射的性质 (9.5节)

训练好的SOM具有两个至关重要的性质：

1. 拓扑排序：网格上相邻的神经元，其权值向量在输入空间中也是相邻的。这意味着SOM将高维数据的流形结构展开到了低维网格上。
2. 密度匹配：SOM网格上神经元的分布密度，近似反映了输入数据在该区域的概率密度。数据密集的地方，会有更多的神经元去“抢占”地盘。

通俗讲解：

• 拓扑排序：如果输入数据呈月牙形，训练好的SOM网格也会弯曲成月牙形，而不会是一团乱麻。

• 密度匹配：如果数据点在某处特别扎堆，SOM就会分配更多的神经元（网格节点）去那里站岗，以保证该区域的分辨率更高。

五、 学习向量量化 (9.7节)

SOM是无监督的，但很多时候我们也有标签信息。学习向量量化（LVQ）是SOM的有监督延伸，用于分类任务。

核心思想：利用SOM发现的聚类结构，通过有监督的微调，使决策边界更精确。

LVQ1算法规则：

• 找出距离输入 x 最近的神经元（原型向量）wi​。
• 如果 wi​ 的类别标签与 x相同，则将 wi​ 向 x 靠近： Δwi​=+η(x−wi​)
• 如果类别不同，则将 wi​ 推离 x： Δwi​=−η(x−wi​)

通俗讲解：LVQ就像是给SOM的“管理员”配备了带标签的检查表。如果某个神经元站错了队伍（类别与输入不符），管理员就把它往相反方向踹一脚；如果站对了队伍，就奖励它，让它往队伍中心靠得更紧。这样，SOM原本模糊的决策边界就被“修剪”得非常精确。

六、 分层向量量化 (9.9节)

将SOM/LVQ的结构扩展为树状结构，即分层向量量化。

• 结构：根节点是一个SOM，每个叶节点再连接一个子SOM。
• 工作方式：先由顶层SOM做粗分类，确定输入属于哪个大类，再将输入送入对应的子SOM做细分类。
• 优势：极大提高了搜索效率，适用于大规模码本或数据集。

通俗讲解：就像医院的分诊系统。先去导诊台（顶层SOM）确定是内科还是外科，再去具体的科室（子SOM）找专科医生。这比在一个包含所有医生的巨大列表里逐一比较要快得多。

七、 上下文映射 (9.10节)

进一步探讨SOM如何处理具有上下文依赖的数据（如语言、序列）。

思想：在权值更新时，不仅考虑当前输入，还考虑前序输入或上下文的影响。这为后来处理序列数据的神经网络（如RNN）提供了早期思路。

八、 小结与讨论 (9.11节)

SOM的核心价值：

1. 可视化：将高维数据投影到2D平面，保留了拓扑结构，是人类观察高维数据的“望远镜”。
2. 向量量化：用少量原型向量表示大量数据，实现数据压缩。
3. 生物合理性：模拟了大脑皮层的自组织特性，是计算神经科学的经典模型。

局限：

1. 训练结果受初始化和参数（η,σ）选择影响大。
2. 难以确定最优网格大小。
3. 理论收敛性分析不如PCA那样清晰。

🗺️ 第九章知识全景脑图

<code>mindmap root((神经网络原理<br/>第九章 自组织映射)) 简介(9.1) 无教师学习 构造计算映射 保留拓扑结构 生物学根源(侧抑制) 两个基本模型(9.2) Willshaw-von der Malsburg Mexican Hat侧抑制 Kohonen模型(SOM) 竞争+邻域合作 工程化简化 SOM算法(9.3-9.4) 竞争过程 寻找获胜神经元 合作过程 邻域函数(高斯型) 半径σ随时间收缩 适应过程 权值向输入靠近 Δw = ηh(x-w) 两个阶段 排序阶段(粗调) 收敛阶段(精调) 特征映射性质(9.5) 拓扑排序(相邻→相邻) 密度匹配(数据密→神经元多) 计算机仿真(9.6) 动物步态模式 语义映射 学习向量量化 LVQ(9.7) 有监督的SOM扩展 分类任务 LVQ1算法 同类靠近，异类推离 精修决策边界 分层向量量化(9.9) 树状SOM结构 先粗后细的分类 提高搜索效率 上下文映射(9.10) 考虑上下文依赖 序列数据处理 小结(9.11) 价值(可视化、VQ、生物模型) 局限(参数敏感、理论分析难) </code>

📐 第九章核心公式通俗讲解

1. 获胜神经元判定

i(x)=argminj​∥x−wj​∥

讲解：这是“胜者为王”的规则。谁离输入数据点最近，谁就赢。这定义了竞争学习的核心，确保网络具有局部性，只对当前输入最敏感的神经元做出反应。

2. 邻域函数

hj,i(x)​=exp(−2σ2dj,i(x)2​​)

讲解：这是SOM的“灵魂公式”。它定义了获胜者周围哪些神经元能跟着“沾光”。d 是网格上的距离，σ 是邻域宽度。

• σ大：许多神经元一起移动，网络在做大尺度的结构调整（排列）。
• σ小：只有获胜者自己微调，网络在做精细调整。训练过程中σ必须从大到小衰减，这是SOM能形成有序映射的关键。

3. 权值更新规则

Δwj​=η⋅hj,i(x)​⋅(x−wj​)

讲解：这个公式体现了“趋同”学习。对于获胜者（h=1）和近邻（h较大），权值向量 wj​ 会被拉向输入向量 x。(x−wj​) 是拉力的方向，η 是步长，h 是力度衰减系数。通过这个公式，SOM逐步用权值向量去逼近数据的概率密度分布。

4. LVQ1分类更新规则

Δwi​={+η(x−wi​)−η(x−wi​)​同类异类​

讲解：这是给无监督的SOM加上“奖惩机制”。如果是同类，权值向量向输入移动（奖励）；如果是异类，权值向量远离输入（惩罚）。这就像是在SOM画好的草图上，用橡皮擦和铅笔精细地勾勒出类别之间的分界线。

💡 第九章学习要点：

本章是无监督学习从理论（PCA）走向拓扑结构建模的关键。重点掌握：

1. SOM的三过程机制（竞争、合作、适应）以及邻域函数 h 的关键作用，理解为何σ必须随时间收缩。
2. 特征映射的两大性质：拓扑排序和密度匹配，这是SOM区别于K-means等简单聚类算法的核心。
3. LVQ如何在SOM无监督聚类的基础上，利用标签信息进行有监督的决策边界优化。
4. 思考SOM与第8章PCA的异同：PCA是线性降维保方差，SOM是非线性降维保拓扑。

通过SOM，我们看到了简单的局部规则（竞争与邻域合作）如何涌现出全局的有序结构，这是复杂系统科学在神经网络中的绝妙体现。