当前位置：首页 > news >正文

傅里叶特征学习在模块化加法任务中的应用

news 2026/5/3 3:40:04

1. 项目背景与核心问题

在深度学习领域，神经网络处理结构化数学运算的能力一直是研究热点。传统神经网络在处理简单算术运算时表现尚可，但在面对模块化加法（Modular Addition）这类具有周期性特征的数学运算时，往往会出现性能瓶颈。这引出了一个关键问题：如何让神经网络更好地理解和学习具有周期性规律的数据特征？

傅里叶特征学习为解决这一问题提供了新思路。通过将输入数据映射到傅里叶空间，我们可以显式地引入周期性先验知识，帮助网络捕捉数据中的循环模式。这种方法特别适合处理像模块化加法这样具有明显周期性的数学运算任务。

2. 傅里叶特征学习原理

2.1 傅里叶变换基础

傅里叶变换的核心思想是将时域信号分解为不同频率的正弦波组合。对于离散输入x∈[0,1,...,n-1]，其离散傅里叶变换(DFT)可表示为：

X[k] = Σ_{x=0}^{n-1} f(x) * e^{-i2πkx/n}

其中k表示频率分量。在神经网络中，我们可以利用这个性质构造傅里叶特征映射。

2.2 傅里叶特征映射实现

实践中，我们通常采用实数形式的傅里叶特征映射：

φ(x) = [cos(2πkx/n), sin(2πkx/n)] for k=1,...,m

这里m是选择的频率分量数量。这种映射有以下几个优势：

显式编码周期性先验
保持输入输出的维度可控
便于神经网络后续处理

注意：频率分量数量m是需要调优的超参数。太小会导致特征不足，太大可能引入噪声。

3. 模块化加法任务解析

3.1 问题定义

模块化加法指在有限域Z_n上的加法运算，即：

a ⊕ b = (a + b) mod n

这个运算具有明显的周期性特征，当a+b超过n时结果会"回绕"，这正是傅里叶特征可以很好捕捉的模式。

3.2 传统方法的局限

普通全连接网络处理这类任务时面临两个主要问题：

需要大量训练数据才能学习到周期性规律
在测试集上的泛化能力较差，特别是对接近n的输入组合

实验表明，普通MLP在n=113的模块化加法任务上，测试准确率通常不超过70%。

4. 傅里叶特征网络实现

4.1 网络架构设计

我们提出以下改进架构：

输入层 → 傅里叶特征映射 → 全连接层 → 输出层

具体实现细节：

输入：两个整数a,b ∈ [0,n-1]
特征映射：将每个输入分别映射为2m维傅里叶特征
拼接后的特征维度为4m
经过2个全连接层后输出n维概率分布

4.2 关键实现代码

import torch import torch.nn as nn class FourierFeatures(nn.Module): def __init__(self, n, m): super().__init__() self.freqs = nn.Parameter( torch.arange(1, m+1) * (2*torch.pi/n), requires_grad=False) def forward(self, x): x = x.unsqueeze(-1) # [batch, 1] return torch.cat([ torch.cos(x * self.freqs), torch.sin(x * self.freqs) ], dim=-1) class FourierNet(nn.Module): def __init__(self, n, m=10): super().__init__() self.fourier = FourierFeatures(n, m) self.fc1 = nn.Linear(4*m, 128) self.fc2 = nn.Linear(128, n) def forward(self, a, b): a_feat = self.fourier(a) # [batch, 2m] b_feat = self.fourier(b) # [batch, 2m] x = torch.cat([a_feat, b_feat], dim=-1) x = torch.relu(self.fc1(x)) return self.fc2(x)