DroPE：不进行长上下文微调实现无缝的零样本上下文扩展 | 直播预约

主题

DroPE：不进行长上下文微调实现无缝的零样本上下文扩展

时间

2026.02.28 周六 22:00 北京时间
2026.02.28 周六 09:00 美东时间
2026.02.28 周六 06:00 美西时间

直播平台

微信视频号：

b站直播间：

Youtube直播间：

https://www.youtube.com/@niceaitalk

内容介绍

到目前为止，想要有效扩展语言模型的上下文长度，通常都需要在预训练序列长度之外进行成本高昂的微调。在本文中，我们通过在训练后移除语言模型的位置嵌入（DroPE），打破了这一关键瓶颈。我们这一简洁方法基于三个重要的理论与实验观察：

1. 位置嵌入（PE）在预训练阶段至关重要，它提供了关键的归纳偏置，能显著加速模型收敛。

2. 但模型对这种显式位置信息的过度依赖，也正是导致其在测试时无法泛化到未见过的序列长度的核心原因——即便使用目前流行的位置嵌入缩放方法也难以解决。

3. 位置嵌入并非高效语言建模的固有必需组件，在预训练结束后，只需经过短暂的重校准阶段，就可以安全地将其移除。

实验表明，DroPE 能够在不进行任何长上下文微调的前提下，实现无缝的零样本上下文扩展，在不损害模型在原始训练上下文上能力的同时，快速适配预训练语言模型。我们的结论在多种模型与数据集规模上均成立，性能远超此前的专用架构以及主流的旋转位置嵌入（RoPE）缩放方法。

Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
论文地址：https://arxiv.org/abs/2512.12167

嘉宾

Yoav Gelberg是牛津大学研究员，研究方向为提升语言模型的适应性与可靠性。 他的研究重点包括：训练后模型适配、长上下文语言建模、模型异常行为检测与监控、数据高效的架构设计，研究中常利用神经网络参数空间与模型激活中的结构特性。
个人主页：
https://yoavgelberg.github.io/

主持人

李大卫，亚利桑那州立大学一年级博士生，在ACL，EMNLP，NAACL等顶级会议发表多篇论文，同时担任ARR，ICLR，NeurIPS，AISTATS等国际会议审稿人。研究兴趣包括从结构化/非结构化文本以及参数化模型中蒸馏知识，高效模型训练/推理，以及探索大模型的社会智能和社交智能。

入群

欢迎加入NICE每周分享交流群，可与NICEer唠嗑，以及第一时间收到后续NICE分享报告的通知。加群通过小助手认证，群内无广告。

NICE介绍

NICE（Nexus forIntelligenCE）是一个由全球50+位一线青年学者共同发起的顶尖AI前沿交流平台。 成立以来，我们汇聚海内外300+嘉宾，通过百余场线上深度分享与线下高规格活动（北京/上海/苏州等），全网积累超13万关注。目前，NICE已构建起覆盖中、美、欧的国际化团队，正加速在硅谷、纽约、香港等地落地，致力于打造连接学术、产业与未来的全球化AI前沿社区。
NICE主页
https://nice-nlp.github.io
NICE海外
https://nice-intl.github.io
b站
https://space.bilibili.com/507524288
Youtube
https://www.youtube.com/@niceaitalk

编辑：冯可蘅 华盛顿大学