[Bug已解决] RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR 傅里叶变换内部错误解决方案
[Bug已解决] RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR 傅里叶变换内部错误解决方案
一、报错长什么样
你调用 PyTorch 的傅里叶变换（torch.fft系列，底层走 NVIDIA 的 cuFFT 库）时，可能遇到：
RuntimeError: cuFFT error: CUFFT_INTERNAL_ERROR也就是官方描述的：
RuntimeError: cuFFT error: CUFFT_INTERNAL_ERRORCUFFT_INTERNAL_ERROR是 cuFFT（CUDA 的 FFT 库）返回的「内部错误」——它不像CUFFT_INVALID_SIZE（尺寸非法）或CUFFT_ALLOC_FAILED（分配失败）那样明确，而是「库内部某个步骤失败了，但说不清具体哪步」。常见于：超大尺寸 FFT、某些不被支持的维度组合、显存紧张时 plan 创建失败、或 CUDA context 已被污染。
本文讲清楚 cuFFT 在 PyTorch 里怎么被调用、为什么会 INTERNAL_ERROR，以及如何规避。
二、torch.fft 与 cuFFT 的关系
PyTorch 的torch.fft.fft/ifft/rfft/fft2等，在 CUDA 张量上运行时，底层调用 cuFFT：
import torch x = torch.randn(1024, device="cuda") y = torch.fft.fft(x) # 底层 plan + 执行 cuFFTcuFFT 的工作分两步：
- 创建 plan（计划）：根据尺寸 / 维度，cuFFT 预先算好「怎么分解这个 FFT 最快」；
- 执行（execute）：用 plan 对实际数据做变换。
CUFFT_INTERNAL_ERROR可能发生在 plan 创建阶段（比如尺寸组合不支持、显存不够建 plan），也可能在执行阶段（数据有问题、context 污染）。
三、常见根因
根因 1：FFT 尺寸过大 / 维度组合不被支持
cuFFT 对某些超大质数因子的尺寸支持不好。虽然 2 的幂、复合数（3、5、7 等小质数因子）都支持，但如果尺寸含有很大的质数因子（如 97、101），cuFFT 的 plan 生成可能失败或极慢，甚至 INTERNAL_ERROR。
根因 2：显存不足导致 plan 创建失败
复杂的多维 FFT 需要临时 buffer 建 plan。显存紧张时，cuFFT 内部分配失败 → INTERNAL_ERROR（而不是清晰的 ALLOC_FAILED）。
根因 3：CUDA context 已被污染
前面某次 kernel 越界 / 错误让 CUDA context 进入错误态，之后所有 cuFFT 调用一律 INTERNAL_ERROR。
根因 4：cuFFT 版本与 CUDA / PyTorch 不匹配
PyTorch 自带的 cuFFT（libcufft.so）与你系统的 CUDA 驱动不兼容时，内部调用失败。
四、可运行：复现并定位 cuFFT 问题
下面脚本测试不同尺寸的 FFT，找出哪个尺寸触发 INTERNAL_ERROR（无 GPU 时跳过）：
import torch def try_fft(n): if not torch.cuda.is_available(): print(f"无 GPU，跳过 FFT 尺寸 {n}") return x = torch.randn(n, device="cuda") try: torch.cuda.synchronize() y = torch.fft.fft(x) torch.cuda.synchronize() print(f"FFT 尺寸 {n} 成功，输出有限值：{torch.isfinite(y).all().item()}") except Exception as e: print(f"FFT 尺寸 {n} 失败：{type(e).__name__}: {e}") if __name__ == "__main__": for n in [1024, 2048, 1000, 9999, 2**20]: try_fft(n)如果你看到9999（含大质数因子）失败而1024（2 的幂）成功，就说明是尺寸质数因子导致的 plan 问题。
五、解决方案一：把 FFT 尺寸补到「友好」值（零填充）
cuFFT 对 2 的幂、或含小质因子的复合数最稳。遇到大质数因子尺寸，先零填充到最近的友好尺寸：
import torch def fft_friendly(x, dim=-1): n = x.size(dim) # 向上取到 2 的幂（最简单、最稳） import math m = 2 ** math.ceil(math.log2(n)) # 在末尾补零到 m pad = m - n if pad > 0: x = torch.nn.functional.pad(x, (0, pad) if dim == -1 else _pad_tuple(dim, pad)) y = torch.fft.fft(x, dim=dim) return y def _pad_tuple(dim, pad): # 构造在指定维度末尾补 pad 的 pad 元组 ndim = 1 # 以 1D 为例 t = [0] * (2 * ndim) t[2 * dim + 1] = pad return tuple(t) # 使用 if torch.cuda.is_available(): x = torch.randn(9999, device="cuda") y = fft_friendly(x) print("补零后 FFT 输出形状：", y.shape)零填充是信号处理里的标准做法，既规避 cuFFT 的质数因子问题，也不影响频谱分析的正确性（只是频率分辨率略变）。
六、解决方案二：释放显存，避免 plan 创建失败
如果 INTERNAL_ERROR 来自显存紧张，先清缓存、减小并发：
import torch torch.cuda.empty_cache() # 回收空闲块，给 cuFFT 建 plan 腾空间 # 或限制显存占比 torch.cuda.set_per_process_memory_fraction(0.85)也可以把大 FFT 拆成多次小 FFT（分块）：
import torch def batched_fft(x, chunk=4096): """对长序列分块 FFT，避免单次超大 plan。""" out = [] for i in range(0, x.size(-1), chunk): out.append(torch.fft.fft(x[..., i:i+chunk])) return torch.cat(out, dim=-1)七、解决方案三：用 CUDA_LAUNCH_BLOCKING 定位污染
开同步执行，确认 INTERNAL_ERROR 是不是「前面 context 污染」导致：
export CUDA_LAUNCH_BLOCKING=1 python your_script.py如果同步后错误精确落在某个非 FFT的 kernel（比如前面的卷积越界），说明是污染，先修那个 kernel，FFT 自然恢复。
八、解决方案四：退回 CPU 跑 FFT（正确性兜底）
如果 CUDA 上 cuFFT 持续 INTERNAL_ERROR 但 CPU 正常，可把 FFT 这步退到 CPU（代价是数据搬运）：
import torch def safe_fft(x): was_cuda = x.is_cuda if was_cuda: x = x.cpu() y = torch.fft.fft(x) if was_cuda: y = y.cuda() return y九、解决方案五：核对 cuFFT / CUDA / PyTorch 版本
import torch print("PyTorch：", torch.__version__) print("CUDA（编译）：", torch.version.cuda)如果 PyTorch 自带 cuFFT 与你的驱动不匹配，考虑重装与驱动匹配的 PyTorch 轮子，或升级驱动到支持该 CUDA 的版本。
十、如何判断你踩的是同一条
- 报错是
CUFFT_INTERNAL_ERROR（不是清晰尺寸/分配错误）； - 出现在
torch.fft.*调用； - 大质数因子尺寸 / 超大尺寸 / 显存紧张时更易发生；
CUDA_LAUNCH_BLOCKING=1后错误落在 FFT 调用处，或前面有污染 kernel。
命中即说明是 cuFFT 内部错误。
十一、小结
CUFFT_INTERNAL_ERROR是 cuFFT 的「内部错误」，常见触发点是大质数因子尺寸、显存不足建 plan、context 污染、库版本不匹配。应对：
- FFT 尺寸补零到 2 的幂 / 友好复合数（第五节），最稳；
empty_cache+ 限制显存占比，给 plan 腾空间（第六节）；CUDA_LAUNCH_BLOCKING=1确认是否 context 污染（第七节）；- CUDA 不可靠时 FFT 退 CPU（第八节）；
- 核对并重装匹配的 PyTorch / CUDA / 驱动（第九节）。
FFT 在科学计算、信号处理里无处不在。cuFFT 对「友好尺寸」极其高效，对「奇怪尺寸」则可能翻脸。养成「先补零到 2 的幂」的习惯，能从源头避开绝大多数CUFFT_INTERNAL_ERROR。