07-02 · LLM 最新论文速览
今日候选池86篇,硬过滤 + LLM 打分后通过评估20篇,精选 Top-10,另列 10 篇速览。
关注方向:多 Agent 系统 / LLM 后训练(RL/SFT) / 扩散语言模型 / 推理加速 / 长上下文 / 量化交易
🌟 精选
1.MPLMMessage Passing Enables Efficient Reasoning
评分8.4·方向cs.CL · Computation and Language ·arxiv2607.01077· PDF
💡 MPLM 为并行 LLM 线程加入 send/receive 原语,用消息传递与抢占减少推理上下文成本。
并行推理长上下文消息传递
摘要:针对长 CoT 推理带来的计算瓶颈,论文提出 Message Passing Language Models (MPLMs),让并行 LLM 线程通过轻量 send/receive 直接通信,而非传统 fork-join 的一次性分叉合并。该框架通过减少重复上下文共享和支持 preemption 提前终止无望线程来提升效率。在 Sudoku 上,MPLMs 所需上下文渐近小于串行 CoT 与并行 FJ,并能解 25×25 难题;在 3-SAT 中也因剪枝提升效率。
评分细项:rel 9.0 / nov 8.5 / prac 7.0 / author 7.0
2.AutoMemAutoMem: Automated Learning of Memory as a Cognitive Skill
评分8.3·方向cs.AI · Artificial Intelligence ·arxiv2607.01224· PDF
💡 AutoMem 将文件系统操作建模为 agent 记忆动作,用轨迹审查循环与自举训练提升长程任务记忆管理。
Agent记忆长程任务训练框架
摘要:论文将记忆管理视为 LLM 可训练的认知技能(metamemory),让模型把文件系统操作作为一等 memory actions,自主决定写入、检索和组织信息。AutoMem 包含两层自动优化:强 LLM 审阅完整轨迹并改进提示、文件 schema 与动作空间;同时从多轮任务中提取优质记忆决策训练模型。仅优化记忆、不改任务动作策略,就在 Crafter、MiniHack、NetHack 长程游戏中使基础 agent 性能提升约 2-4 倍,32B 开源模型接近前沿闭源系统。
评分细项:rel 8.5 / nov 8.0 / prac 8.0 / author 8.0
3.CATCAT: Confidence-Adaptive Thinking for Efficient Reasoning of Large Reasoning Models
评分8.2·方向cs.CL · Computation and Language ·arxiv2607.00862· PDF
💡 CAT把自信度信号写入偏好优化,按题目难度自适应压缩CoT长度。
推理加速偏好优化长CoT压缩
摘要:大型推理模型依赖长 CoT 处理复杂任务,但在简单问题上常过度思考,带来高 token 开销。CAT 将模型内在自确定性作为 confidence 信号纳入偏好优化,使推理长度随题目难度自适应调整。多基座、多基准实验显示,CAT 在推理准确率上持续优于强基线,可在高置信回答中压缩推理、在不确定问题上保留思考,从而更好平衡准确率与延迟。
评分细项:rel 9.0 / nov 7.0 / prac 8.0 / author 6.0
4.Self-GCSelf-GC: Self-Governing Context for Long-Horizon LLM Agents
评分8.4·方向cs.AI · Artificial Intelligence ·arxiv2607.00692· PDF
💡 Self-GC把工具结果和计划建模为索引对象,用planner执行fold、mask、prune管理长程上下文。
长上下文LLM Agent上下文压缩
摘要:长程 LLM agent 会积累工具结果、文件、计划和约束,简单裁剪或末尾总结易丢失未来所需证据。Self-GC 将上下文视为可索引、可恢复对象,由侧通道 planner 提议 fold、mask、prune,并由执行框架保证安全提交和缓存友好。在 Hard Set 中可裁掉 43.95% 前缀 token 且 84.85% 后续不受影响;生产套件和线上实验也显著降低输入 token,展示了上下文生命周期管理的价值。
评分细项:rel 9.0 / nov 8.0 / prac 8.5 / author 6.0
5.MnemosyneMnemosyne: Agentic Transaction Processing for Validating and Repairing AI-generated Workflows
评分7.9·方向cs.AI · Artificial Intelligence ·arxiv2607.00269· PDF
💡 Mnemosyne用ATP事务模型、约束准入和补偿日志验证修复AI工作流。
agentic workflow工作流修复事务处理
摘要:论文提出 Agentic Transaction Processing (ATP),将 LLM/agent 生成的工作流动作视为不可信提案,只有在可执行约束集 C 下通过确定性准入后才提交。系统 Mnemosyne 采用追加日志、状态投影、依赖安全补偿与提交记录,证明四类安全性及有界局部修复保证。实验在九类伪造测试中拒绝目标违规,同时保留有效操作,投影与验证开销低于 6%,局部修复显著减少编辑量。
评分细项:rel 8.5 / nov 7.5 / prac 8.0 / author 5.5
6.SEASelf-Evolving Agents with Anytime-Valid Certificates
评分7.5·方向cs.AI · Artificial Intelligence ·arxiv2607.00871· PDF
💡 SEA用冻结基座模型、steering adapter和anytime-valid gate约束自演化代码代理。
LLM Agent自演化代理SWE-bench
摘要:论文关注自进化 agent 中数据、评估器和假设空间均由当前策略生成,导致传统学习保证失效的问题。SEA 将自修改限制在冻结基座模型外的小型 steering adapter 与版本化 harness 中,并用 anytime-valid gate 在固定错误预算下生成可审计证书。其结合 best-of-N、微步搜索、自生成复现 oracle、搜索层控制和自修复等机制,在 SWE-bench Verified 子集上显示强基座模型收益明显,最佳从 29 提升到 34。
评分细项:rel 8.0 / nov 7.5 / prac 7.0 / author 5.0
7.LogbQuantLogQuant: Quantizing Language Models in Logarithmic Space
评分7.5·方向cs.CL · Computation and Language ·arxiv2607.01127· PDF
💡 LogbQuant 使用可调底数的对数量化码本,在 4-bit 权重压缩中减少高幅值权重误差。
模型量化推理加速4-bit
摘要:本文针对语言模型量化中均匀 codebook 易受低频大幅权重影响的问题,提出 Log_bQuant:一种可调底数的对数量化方法,以更好匹配参数分布。实验显示,在 4-bit 精度下,相比 tensor-wise 非对称线性量化,该方法在多项基准上表现更优,同时带来适度推理加速和显著显存节省,适合消费级 GPU 上的私有部署。
评分细项:rel 8.0 / nov 7.0 / prac 8.0 / author 5.0
8.OpenAgentCan Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use
评分7.6·方向cs.AI · Artificial Intelligence ·arxiv2607.01084· PDF
💡 OpenAgent 构造工具使用开放世界扰动层级,比较 SFT/RL 退化并提出 Perturbation-Augmented Fine-Tuning。
Agent训练SFT强化学习工具使用
摘要:本文关注 LLM agent 在真实开放环境中面对用户查询、工具集和交互动态变化时的泛化脆弱性。作者形式化提出 OpenAgent 设定,并构建可控沙盒,从感知、交互、推理、内化四层刻画环境分布偏移。实验表明,SFT 与强化学习训练的 agent 在开放偏移下均出现不同程度性能下降。基于此,论文提出 Perturbation-Augmented Fine-Tuning,以提升工具使用 agent 的鲁棒性。
评分细项:rel 8.0 / nov 7.0 / prac 7.0 / author 7.5
9.FutTimingEnd-to-End Parametric Portfolio Policies for Cross-Asset Futures Timing: When Do AI Models Beat Simple Rules?
评分7.7·方向q-fin.PM · Portfolio Management ·arxiv2607.00475· PDF
💡 用可微 Sharpe 损失端到端训练 LSTM 与 Transformer 期货择时组合策略,并比较风险平价与动量规则。
量化交易组合管理Transformer
摘要:本文研究跨资产期货择时中,端到端 AI 投资组合策略何时优于简单规则。作者不先预测收益再优化权重,而是让模型直接从市场状态映射到组合权重,并用可微 Sharpe ratio 损失训练。实验覆盖16个高流动性 CME 期货,对比等权、风险平价和时间序列动量。结果显示,学习策略在整体跨资产组合和部分子资产中领先,但优势不均;LSTM 与 transformer 毛收益相近,计入交易成本后 transformer 交易更少、表现更稳。
评分细项:rel 9.0 / nov 6.0 / prac 7.0 / author 5.0
10.ASPIREASPIRE: Agentic /Skills Discovery for Robotics
评分7.0·方向cs.MA · Multiagent Systems ·arxiv2607.00272· PDF
💡 ASPIRE在code-as-policy循环中诊断执行失败,并沉淀可迁移机器人技能库。
Agentic工作流机器人技能代码策略
摘要:ASPIRE 面向机器人自动技能发现,缓解传统编程中多模态感知、接触动力学和失败恢复难题。它采用 code-as-policy,通过闭环执行引擎记录细粒度多模态轨迹,自动诊断失败、生成修复并验证;同时把成功修复沉淀为可复用技能库,并用进化搜索探索多样任务和控制程序。实验显示,ASPIRE 在 LIBERO-Pro、Robosuite 双臂交接和 BEHAVIOR-1K 长程家务任务上显著优于既有方法,并可零样本泛化到未见长程任务。
评分细项:rel 6.5 / nov 8.0 / prac 8.0 / author 6.5
📚 速览 · 其他通过评估的工作(10 篇)
一句话扫读,按评分从高到低;点击标题跳转 arxiv。
cs.CV7.2Autonomous Scientific Discovery via Iterative Meta-Reflection· 💡 DiscoPER让 LLM 生成并执行代码探索数据集,用统计检验和 meta-reflection 迭代重定向假设搜索。cs.CV7.1QCA: Query- and Content-Aware Keyframe Selection for Long Video Understanding· 💡 QCA按查询相关性与内容偏差分段分配预算,免训练选择长视频关键帧接入Video-LLM。cs.CL6.9The State-Prediction Separation Hypothesis· 💡 提出双计算流Transformer分离状态存储与next-token预测,提升预训练效率。cs.MA6.9From Real-Time Planning to Reliable Execution:Scalable Coordination for Heterogeneous Multi-Robot Fleets in Industrial Environments· 💡 SCALE用运动诱导冲突削减和CAPH超图,在线协调异构仓储机器人车队。cs.MA6.8M2Note: Continual Evolution of Vision Language Models via Mistake Notebook Learning· 💡 M2Note把VLM失败轨迹转成主题指导笔记,用多模态RAG在推理时复用纠错步骤。cs.CL6.6From Personas to Plot: Character-Grounded Multi-Agent Story Generation for Long-Form Narratives· 💡 MAGNET 用角色 agent、共享 world state 与 ATLAS 图验证生成百页长篇故事并减少 hallucination。cs.AI6.8Personalization as Inverse Planning: Learning Latent Design Intents for Agentic Slide Generation via Structural Denoising· 💡 SPIRE把幻灯片个性化建模为inverse planning,用结构去噪任务训练双代理RL生成布局。cs.CV6.9Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning· 💡 P2R 将 VLM 细粒度视觉推理拆成定位与作答,并用 PRA-GRPO 交替强化学习两类角色。cs.CL6.2Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads· 💡 LOCOS 用 OV-circuit logit 投影识别非字面检索头,消融少量头使 NoLiMa ROUGE-L 崩塌。q-fin.TR6.4When large trades are not news: Liquidity tail risk and price discovery· 💡 用 Student-t 尾部建模流动性订单流,推导大宗交易价格冲击与订单流学习的固定点均衡。
数据源:arxiv.org · 评分与中文摘要由 LLM 自动生成,仅供初筛参考
