LLM agent 看起来越来越智能了。但实际上它们可能只是拿到了更多信息。
Agentic 工作流普及以后，LLM 开始被频繁用于迭代优化机器学习模型：提出配置方案、观察实验结果、逐步改进决策。表面上看这像是推理，但一个根本问题悬而未决：系统性能的提升，究竟源于推理能力，还是源于输入端信息的改善？
当前主流优化框架中，信息暴露，即 agent 能看到什么，并未被当作受控实验变量。而上下文的引入方式往往是启发式的，经由提示工程、工具集成或系统层面的设计选择完成。
所以一个归因困境由此产生，不同 agent 系统间观察到的性能差异，反映的可能是信息访问权限的不同，而非模型推理能力的高低。结果既难以归因，也几乎无法跨实现复现。
任何 agentic 优化框架中都有一个核心却常被忽视的设计要素：LLM 可用的上下文。任务描述、评估指标、参数约束、历史优化记录，这些直接左右 agent 对环境的理解和后续配置的生成。
不控制上下文，就无法判断 agent 是在推理还是在对输入信息做条件反射。
ContextEval
ContextEval 正是基于这一思路构建的受控评估框架。它不优化提示本身，而是系统地变更 agent 被允许看到的内容，测量这一单一因素对优化行为的影响。
框架选择的核心任务是超参数优化（HPO）。寻找最优超参数通常是缓慢的手动过程，网格搜索是最典型的例子。但假设一个 LLM 能充当自主工程师，提出配置方案、观察结果、根据选择性揭示的信息修正下一步猜测 它的表现会怎样？
为验证这一设想，实验系统让 agent 在四个机器学习基准的超参数空间中测试，目的在于识别优化过程中哪些信息真正起作用。
给 LLM 更多信息，是否真的改善了优化效果——还是仅仅改变了行为模式？
https://avoid.overfit.cn/post/b9c0aae8063a41c6a31ead6882b7ecfd