哈工大：2025年大语言模型进展报告

这份哈工大 2025 年大语言模型进展报告，核心是系统梳理了 2025 年 LLM 从技术架构、训练、部署、智能体、应用、评测、安全到未来趋势的全维度突破，可概括为以下 8 大核心要点：

一、模型架构：从 “堆规模” 转向 “高效率、强统一”

注意力机制：优化 KV 缓存、解决长文本 “中间遗忘”，混合 RoPE 与无位置编码成为主流

稀疏建模：从静态转向动态 Token 级稀疏，大幅降低长文本计算成本

混合专家 MoE：确立 “高参数量、低激活量” 范式，Sigmoid 路由 + 负载均衡成熟，端侧 MoE 开始落地

状态化建模：Mamba 等线性架构 + 全局注意力混合架构成为效率最优解

多模态：从 “外挂视觉” 升级为原生统一架构，感官解耦、思维统一

新方向：扩散语言模型、动态计算、嵌套学习挑战 Transformer

二、模型训练：推理能力爆发，RL 成核心引擎

SFT：LORA 持续进化，参数量更少、收敛更快，解决灾难性遗忘

强化学习爆发：RLVR 可验证奖励成为 2025 年关键，数学 / 代码推理能力暴涨

数据：预训练 / 中训练 / 后训练三级体系成型，长文本、推理、代码数据爆发

能力提升：长上下文、复杂推理、数学代码、工具调用、智能体强化学习五大方向全面突破

训练框架：VeRL、ROLL、OpenRLHF 等开源框架成熟，支持超大模型高效训练

三、模型部署：突破显存墙，全链路软硬协同

压缩：量化突破 2bit 极限，剪枝追求真实速度提升，蒸馏重点迁移推理能力

加速：投机解码走向语义宽松验证，KV 缓存实现超低比特 + 稀疏压缩

框架：vLLM、SGLang、TensorRT-LLM、llama.cpp、Ollama 分层适配云端 / 端侧

核心目标：低成本、低延迟、高吞吐，支持百万 Token 长上下文

四、智能体 Agent：从 “工具调用” 走向 “自主进化”

自主规划：任务分解、环境记忆、自我反思三大能力成熟

工具链：MCP 协议统一工具标准，多智能体协同、多模态工具成为主流

RAG：全链路优化、自适应检索、多智能体 RAG、多模态 RAG 全面升级

长期记忆：独立记忆模块成型，支持文本 / 图谱 / 多模态存储检索

自我修正 / 进化：模型原生反思、迭代控制、自我进化，智能体可自主优化能力

GUI 智能体：桌面 / 手机 / 网页自动化成熟，可像人一样操作电脑

五、应用落地：全行业渗透

通用应用：编程、写作、设计、心理咨询、深度调研、科研助手

行业应用：教育、医疗、金融、法律、农业全覆盖

核心价值：从对话助手转向生产力工具、行业专家、自主执行体

六、评测与生态：标准完善，国产开源崛起

评测基准：多轮对话、工具使用、智能体、多模态四大评测体系建立

模型生态：闭源模型性能登顶，国产开源模型全面崛起

能力榜单：语言、视觉、语音、编程、数学、推理、智能体全面排名

七、安全与伦理：对齐、风控、溯源体系成型

安全对齐：训练 + 推理双阶段风险控制

内容可信：水印、可验证生成、溯源体系建立

攻击防御：提示词安全、数据安全、隐私保护

宪法 AI：规则化 AI 治理成为趋势

八、未来趋势：走向主动智能体与世界模型

模型从规模优先转向智能密度优先

应用从被动应答转向主动智能体

技术走向云边协同、世界模型、具身智能

挑战：算力不均、安全伦理、跨学科融合