亚马逊NeurIPS 2024论文技术速览
某机构在NeurIPS 2024论文快速指南
尽管大语言模型及其他基础模型占据了重要地位，但某机构长期关注的赌博机问题以及人工智能在自动推理中的应用等新课题也获得了应有的关注。
2024年神经信息处理系统大会（NeurIPS）——人工智能领域的顶级会议——于今日开幕。某机构被接收的论文展示了其人工智能研究的广度。大语言模型（LLM）和其他基础模型在过去几年主导了该领域，某机构的论文也反映了这一趋势，涵盖了检索增强生成、利用LLM进行代码生成、常识推理以及多模态模型等主题。训练方法也成为焦点之一，相关论文涉及内存高效训练、基于人类反馈的强化学习、带拒绝的分类以及Transformer模型中的收敛速率。
同时，某机构的论文也展现了对赌博机问题（长期以来某机构向NeurIPS提交论文的 staple 主题）和语音处理等领域的持续兴趣，以及诸如机器学习在科学计算和自动推理中的应用等较新的关注点。其中一篇论文《B’MOJO: 具有全息记忆和 fading 记忆的基础模型的混合状态空间实现》提出了一种植根于传导学习概念的新的机器学习范式。
自动推理
- 神经模型检查(Mirco Giacobbe, Daniel Kroening, Abhinandan Pal, Michael Tautschnig)
赌博机问题
- 无法实验时的自适应实验(Yao Zhao, Kwang-Sung Jun, Tanner Fiez, Lalit Jain)
- 带扩散先验的在线后验采样(Branislav Kveton, Boris Oreshkin, Youngsuk Park, Aniket Deshmukh, Rui Song)
代码生成
- 训练LLM以更好地自我调试和解释代码(Nan Jiang, Xiaopeng LI, Shiqi Wang, Qiang Zhou, Baishakhi Ray, Varun Kumar, Xiaofei Ma, Anoop Deoras)
常识推理
- 语言模型能学会跳步吗？(Tengxiao Liu, Qipeng Guo, Xiangkun Hu, Jiayang Cheng, Yue Zhang, Xipeng Qiu, Zheng Zhang)
计算流体动力学
- WindsorML: 用于汽车空气动力学的高保真计算流体动力学数据集(Neil Ashton, Jordan B. Angel, Aditya S. Ghate, Gaetan K. W. Kenway, Man Long Wong, Cetin Kiris, Astrid Walle, Danielle Maddix Robinson, Gary Page)
LLM评估
- SetLexSem挑战赛：使用集合操作评估语言模型的词汇和语义鲁棒性(Bardiya Akhbari, Manish Gawali, Nicholas Dronen)
内存管理
- 具有未知权重的在线加权分页(Orin Levy, Aviv Rosenberg, Noam Touitou)
模型架构
- B’MOJO: 具有全息记忆和 fading 记忆的基础模型的混合状态空间实现(Luca Zancato, Arjun Seshadri, Yonatan Dukler, Aditya Golatkar, Yantao Shen, Ben Bowman, Matthew Trager, Alessandro Achille, Stefano Soatto)
隐私保护
- 利用有限公共数据预训练差分隐私模型(Zhiqi Bu, Xinwei Zhang, Sheng Zha, Mingyi Hong)
- 对机器遗忘的重构攻击：简单模型是脆弱的(Martin Bertran Lopez, Shuai Tang, Michael Kearns, Jamie Morgenstern, Aaron Roth, Zhiwei Steven Wu)
检索增强生成 (RAG)
- RAGChecker: 用于诊断检索增强生成的细粒度框架(Dongyu Ru, Lin Qiu, Xiangkun Hu, Tianhang Zhang, Peng Shi, Shuaichen Chang, Cheng Jiayang, Cunxiang Wang, Shichao Sun, Huanyu Li, Zizhao Zhang, Binjie Wang, Jiarong Jiang, Tong He, Zhiguo Wang, Pengfei Liu, Yue Zhang, Zheng Zhang)
语音处理
- CA-SSLR: 用于通用语音处理的条件感知自监督学习表征(Yen-Ju Lu, Jing Liu, Thomas Thebaud, Laureano Moro-Velazquez, Ariya Rastrow, Najim Dehak, Jesus Villalba)
训练方法
- CoMERA: 通过秩自适应张量优化实现计算和内存高效训练(Zi Yang, Ziyue Liu, Samridhi Choudhary, Xinfeng Xie, Cao Gao, Siegfried Kunzmann, Zheng Zhang)
- 用于人类偏好 elicitation 的最优设计(Subhojyoti Mukherjee, Anusha Lalitha, Kousha Kalantari, Aniket Deshmukh, Ge Liu, Yifei Ma, Branislav Kveton)
- 通过学习密度比率进行拒绝(Alexander Soen, Hisham Husain, Philip Schulz, Vu Nguyen)
- 揭示Transformer模型的梯度下降动力学(Bingqing Song, Boran Han, Shuai Zhang, Jie Ding, Mingyi Hong)
视频处理
- 一符标记万物：视频中基于语言指令的推理分割(Zechen Bai, Tong He, Haiyang Mei, Pichao Wang, Ziteng Gao, Joya Chen, Lei Liu, Pichao Wang, Zheng Zhang, Mike Zheng Shou)
- 用于长视频理解的视频令牌合并(Seon Ho Lee, Jue Wang, Zhikang Zhang, David Fan, Xinyu (Arthur) Li)
视觉-语言模型
- 用于可解释视觉-语言对齐的统一词汇表征(Yifan Li, Yikai Wang, Yanwei Fu, Dongyu Ru, Zheng Zhang, Tong He)
研究领域
机器学习
标签
NeurIPS, 视觉-语言模型, 视频, 检索增强生成, 大语言模型, 代码生成FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）