神经网络如何学习模块化加法与傅里叶特征

1. 项目概述

在深度学习领域，神经网络如何高效学习数学运算一直是个有趣的研究方向。最近我在探索一个具体案例：让神经网络学会模块化加法（modular addition）任务，同时引入傅里叶特征学习机制。这个组合看似简单，实则揭示了神经网络处理周期性模式的底层机制。

模块化加法就像时钟算术——把数字相加后取模（比如12小时制的钟表，8+7=3）。而傅里叶特征则提供了分析周期信号的数学工具。当两者在神经网络中相遇时，会产生一些反直觉的现象：网络会自发地发展出类似离散傅里叶变换的特征表示，即使我们完全没有显式地告诉它要这么做。

2. 核心概念解析

2.1 模块化加法任务

模块化加法定义为：

(a + b) mod p

其中p是模数（如时钟算术中p=12）。这个任务有几个关键特性：

1. 周期性：输出结果在0到p-1之间循环
2. 非局部性：输入数字的微小变化可能导致输出突变（如(11+1)mod12=0）
3. 对称性：a+b和b+a的结果相同

这些特性使得线性模型难以直接学习模块化加法，需要非线性变换。

2.2 傅里叶特征的作用

傅里叶变换可以将周期信号分解为不同频率的正弦波。对于模块化加法：

1. 输入可以看作离散信号
2. 输出是输入的周期性函数
3. 傅里叶基函数天然适合表示这类关系

在神经网络中，我们观察到：

• 网络会自动学习类似傅里叶变换的权重模式
• 不同神经元对应不同频率分量
• 这种表示比原始输入空间更利于学习模块化运算

3. 网络架构设计

3.1 基本结构

我们使用一个简单的双层网络：

输入 → 隐藏层(ReLU) → 输出层

其中：

• 输入：将两个整数a,b进行one-hot编码后拼接
• 隐藏层：宽度足够大（通常4p以上）
• 输出：p维logits，用softmax转换为概率

关键设计选择：

1. 不使用偏置项：避免干扰周期模式的学习
2. 宽隐藏层：确保可以捕获多个频率分量
3. ReLU激活：允许分段线性近似周期函数

3.2 输入编码变体

除了one-hot，我们还尝试了：

1. 傅里叶特征编码：显式提供sin/cos基函数

   # 示例：k阶傅里叶特征 def fourier_feature(x, k, p): return [np.cos(2*np.pi*k*x/p), np.sin(2*np.pi*k*x/p)]

2. 随机投影：先通过随机矩阵变换输入
3. 标量输入：直接输入整数（效果较差）

实验表明，one-hot和显式傅里叶编码效果最好。

4. 训练过程与技巧

4.1 损失函数选择

使用标准交叉熵损失：

L = -Σ y_true * log(y_pred)

其中：

• y_true是真实结果的one-hot编码
• y_pred是网络输出的概率分布

对于p=113的案例，我们观察到：

• 训练初期损失下降缓慢（约1000步后加速）
• 最终准确率可达100%（完美学习）

4.2 优化器设置

推荐配置：

optimizer = torch.optim.Adam( model.parameters(), lr=0.001, weight_decay=0.01 # 防止过拟合 )

关键参数：

• 学习率：0.001-0.01范围
• weight_decay：重要！帮助网络找到更简单的解
• batch_size：全批量或大批量（>256）

4.3 训练动态观察

典型的训练过程会经历三个阶段：

1. 初始随机期：准确率≈1/p（随机猜测）
2. 特征形成期：网络开始学习频率分量（约1000步）
3. 精细调整期：各频率分量相位对齐（约3000步后收敛）

5. 网络行为的数学解释

5.1 权重矩阵的傅里叶模式

训练完成后，检查第一层权重矩阵W：

• 将W的每行看作周期函数
• 用离散傅里叶变换(DFT)分析这些函数
• 发现明显的频率峰值

具体来说，对于p=113：

1. 计算W每行的DFT
2. 找出主导频率k（通常k≈p/2）
3. 观察到多数神经元专注于特定频率

5.2 特征空间的环形结构

将隐藏层激活可视化：

1. 对每个输入(a,b)，记录隐藏层激活h
2. 用PCA/t-SNE降维到2D
3. 观察到清晰的环形结构

这表明网络将输入映射到了角度空间：

• 角度对应(a+b)的值
• 半径对应置信度

6. 扩展实验与发现

6.1 不同模数的影响

我们测试了p=17, 37, 113等质数：

• 更大的p需要更多神经元
• 训练时间随p^2增长（因输入空间增大）
• 但基本学习机制保持不变

有趣的是，对于合数p：

• 网络会学习其质因数分解
• 不同子网络负责不同因数

6.2 其他周期任务

类似的机制也适用于：

1. 模块化乘法
2. 有限域运算
3. 周期序列预测

这表明这是神经网络处理周期性问题的通用策略。

7. 实际应用建议

7.1 何时使用这种架构

适合场景：

• 数据具有隐含周期性
• 传统方法难以捕捉非局部依赖
• 需要解释学习到的表示

不适合场景：

• 非周期数据
• 非常高频的噪声信号
• 资源极度受限的环境

7.2 超参数调优指南

1. 隐藏层大小：从4p开始，逐步增加直到性能饱和
2. 学习率：先用0.001，观察训练动态调整
3. 正则化：L2权重衰减很关键，从0.01开始尝试
4. 激活函数：ReLU效果最好，也可尝试GeLU

7.3 常见问题排查

问题1：训练停滞在随机猜测水平

• 检查：权重初始化是否合适
• 解决：尝试更大的初始化规模

问题2：测试准确率波动大

• 检查：是否过拟合
• 解决：增加权重衰减或更多数据

问题3：某些输入模式始终学不会

• 检查：隐藏层是否足够宽
• 解决：增加神经元数量或添加跳跃连接

8. 理论洞见与未来方向

从这些实验我们得出：

1. 神经网络偏好低频解决方案
2. 傅里叶特征是学习周期函数的自然基
3. 模块化运算诱导网络发现代数结构

可能的扩展方向：

• 结合注意力机制处理更复杂运算
• 研究其他数学运算的学习机制
• 开发基于这些原理的新型架构

在实际项目中应用这些发现时，我发现关键在于理解数据的底层结构。当处理看似复杂的关系时，寻找其中的周期性或对称性往往能揭示简单优雅的解决方案。这种傅里叶特征自发现象不仅出现在模块化加法中，也在其他周期信号处理任务中反复出现，暗示了神经网络某种通用的学习偏好。