CODA：将Transformer块重写为GEMM附加程序，为训练效率提升提供可行途径

【arXiv相关信息】

我们衷心感谢西蒙斯基金会、会员机构以及所有贡献者的支持。可了解arXiv成为独立非营利组织的相关情况。

【搜索与快速链接】

搜索可在所有字段，包括标题、作者等进行。还有快速链接，如登录、帮助页面、关于等内容。

【论文信息】

在计算机科学的机器学习领域，arXiv:2605.19269论文《CODA：将Transformer块重写为GEMM附加程序》，于2026年5月19日提交，最后于2026年5月20日修订。作者包括郭涵、杰克·张、阿君·梅农、德里斯·盖苏斯、维杰·萨卡尔、尹·金、特里·道。可查看该论文的PDF版本、HTML（实验版）。

【论文摘要】

Transformer训练系统围绕密集线性代数构建，但端到端训练时间中有相当一部分花在了周边的内存受限算子上。归一化等相关计算使数据移动成为训练栈的重要瓶颈。我们引入了CODA，一种GPU内核抽象，将这些计算表示为GEMM加附加程序。它基于可对Transformer算子代数重新参数化的观察，固定了GEMM主循环，并提供可组合附加原语。这种抽象保留了专家编写的GEMM的性能结构，又能表达标准Transformer块前向和反向传播中几乎所有非注意力计算。在代表性Transformer工作负载中，人类和大语言模型编写的CODA内核都实现了高性能，表明GEMM加附加程序编程为结合框架级生产力和硬件级效率提供了可行途径。

【主题与引用格式】

主题为机器学习 (cs.LG) 。引用格式有[arXiv:2605.19269] [cs.LG] ，或此版本使用 [arXiv:2605.19269v2] [cs.LG] ，以及 。

【提交历史】

来自郭涵，[v1]于2026年5月19日 星期二 02:30:43 UTC（1121 KB）提交，[v2]于2026年5月20日 星期三 17:38:24 UTC（493 KB）提交。

【全文链接】

可查看该论文的PDF版本、HTML（实验版）、TeX源代码 ，还可查看许可。

【当前浏览上下文】

当前浏览上下文为cs.LG，可进行上一篇、下一篇浏览，还有最新论文、近期论文、2026年5月论文等浏览选项，也可切换浏览方式。

【参考文献与引用】

参考文献与引用包括NASA ADS、谷歌学术、语义学者等。

【文献工具】

文献工具包括文献与引用工具，如文献浏览器、关联论文、文献地图、scite.ai等；代码、数据和媒体相关工具，如alphaXiv、代码链接、DagsHub等；演示项目工具，如Replicate、Spaces等；推荐器和搜索工具，如影响力花图链接、CORE推荐器、IArxiv推荐器等。

【关于arXivLabs】

arXivLabs是一个框架，允许合作者直接在网站上开发和共享新的arXiv功能。与arXivLabs合作的个人和组织认可并接受开放、社区、卓越和用户数据隐私价值观。若有能为arXiv社区增值的项目想法，可了解更多关于arXivLabs的信息。还可了解本文作者认可情况，禁用MathJax等。同时提供关于、帮助、联系arXiv、订阅arXiv邮件等相关信息，以及版权、隐私政策、网络无障碍协助、arXiv运行状态等内容。