数量多不等于更聪明!90%的AI翻车,其实源于“语境中毒”
AI时代,企业正在犯一个似曾相识的错误:以为给AI更多数据,它就会变得更聪明,但事实是,海量信息并不会自动带来智慧,甚至可能让AI陷入混乱。
将海量数据直接倾倒给AI并不能让它变得更聪明,真正关键的是为它提供正确的头部信息,而不是让它面对各种相互矛盾的“事实”。
如果你在硅谷的AI圈子里待得足够久,就会反复听到同一个观点:AI需要上下文。
这句话大体上是对的。问题在于,“上下文”已经成为整个行业中最模糊的词汇之一。
由于使用者的身份不同,上下文可以指代文档、仪表盘、报告、元数据、业务规则、策略、交易历史、CRM记录、知识库或行业专家经验,这个词已经变成了一个大杂烩,几乎涵盖了所有可以提供给模型的任何信息。
结果,许多企业开始将上下文视为一个“容量问题”。人们的对话迅速转向更大的上下文窗口、更多的数据源以及更广泛的系统访问权限,却极少有人去评估这些信息是否真的提升了最终输出的质量。
我们在实践中观察到的情况表明,人们需要换一种方式来思考这个问题。在企业级AI领域取得最大进展的组织,并不一定是那些向其系统开放最多信息量的公司,相反,是那些投入最多时间去理解哪些信息应该影响决策、哪些信息不应该影响,以及如何确保业务逻辑得到一致执行的公司。
这种区别至关重要,因为整个行业正在开始重蹈企业曾经犯过的覆辙。
上下文正成为新的“大数据”
在过去二十年的大部分时间里,企业都基于这样一个假设进行运营:收集更多的数据自然会带来更好的决策,为此,企业在数据仓库、报告平台、分析系统和商业智能工具上进行了巨大的投资,这些投资创造了巨大的价值,但它们也揭示了一个重要事实:收集信息与理清头绪并不是一回事。
如今,AI正步入一条相似的道路。
许多企业AI项目通过统计模型可以访问多少信息来衡量进度,文档越多越好、系统越多越好、上下文窗口越大越好。在人们的讨论中,往往默认数量和质量是同步提升的。
然而,事实并非如此。
根据Salesforce的研究,尽管多年来在数据基础设施和分析方面投入了大量资金,但仅有35%的商业领袖表示对本企业有效利用数据的能力完全满意。企业多年前就吸取了教训:单凭信息本身并不能产生洞察,同样的教训也适用于AI。
当一个模型可以访问同一个指标的五个不同版本、相互冲突的业务流程定义,或者多年未更新的文档时,它不会魔术般地消除这些不一致,而是会全盘接收。更多的上下文不仅能减少歧义,也同样容易增加混乱。
仅仅向模型开放更多信息并不能保证更好的结果,关键在于系统所能获取的信息是否能帮助它在正确的时间做出正确的决策。
大多数AI的失败,本质上是上下文的失败
在过去一年里,我们观察到的最有趣的现象之一是,许多AI项目因一些与AI本身毫无关系的问题而饱受指责。
模型回答错误了一个问题,人们的第一反应就是模型失败了,但实际上,底层问题往往出在其他地方。企业内部对被查询的指标可能有多种定义,客户信息可能存在于多个系统且数值相互冲突,业务规则可能在一个地方有记录,在另一个地方部分实施,而不同的团队对其理解又各不相同。
在许多部署案例中,问题不在于AI缺乏信息,而在于它能够访问多个相互矛盾的“事实”版本。
任何在大型企业工作过的人都会对这种模式感到熟悉,营业收入对财务部门来说是一个意思,对销售部门来说可能又略有不同,产品使用指标随着时间的推移不断演变,操作流程在变,而文档却处于冻结状态。人类员工通过经验和组织内部的隐性知识学会了如何在这些不一致中摸索前进,但AI系统会立即全盘继承这些问题。
这就是为什么关于上下文的讨论常常偏离核心的原因,挑战不仅在于提供更多信息,而是在于确定哪些信息是值得信赖的、如何解决冲突,以及应该用什么业务逻辑来支配最终的答案。
一个值得信赖的单一事实源,可能比一百个松散连接的数据源更有价值,一条定义清晰的规则,可能比数千页的文档更有用,上下文的质量远比容量更重要。
访问权限不等于信任
许多企业可以准确地告诉你他们的AI系统是如何检索信息的,他们可以极尽详细地解释检索流水线、向量数据库、重排系统、语义搜索架构和上下文窗口。
但极少有企业能解释,他们是如何确定系统生成的答案始终是正确的。
在企业环境中,这种认知鸿沟变得尤为关键,因为一个错误答案的代价可能极其高昂。一个正在做预测的销售主管、一个正在评估业绩的财务团队,或是一个正在做出资源配置决策的运营高管,他们并不关心系统检索了多少文档,他们只关心答案是否正确。
信任一直是企业数据中最难解决的问题之一,根据Accenture关于数据信任和决策的研究,只有大约四分之一的员工表示在做出决策时对企业的数据抱有高度信心。当AI加入进来时,这一挑战并不会凭空消失。如果说有什么变化的话,那就是它变得更加显而易见。
企业频繁地衡量访问权限,是因为访问权限很容易被量化,而可靠性则要困难得多。可靠性需要理解一个答案在不同用户、不同提示词、不同时间段以及不断变化的业务条件下是否保持一致,它需要理解同一个问题是否能产生相同的答案,以及该答案是否反映了企业想要强制执行的业务逻辑。
这些在根本上是不同的衡量标准,它们指向了对成功截然不同的定义。
上下文需要衡量与评估
这个问题之所以变得越来越突出,原因之一是企业积累信息的速度远快于清理信息的速度。
新系统不断增加,新报告不断创建,流程也在演变,团队开发出本地化的定义和专门的工作流,文档持续增长,却极少被删除。随着时间的推移,企业构建了庞大的信息库,其中包含着多年来的历史决策、特例、临时解决方案以及相互矛盾的解读。
我们还没有遇到过哪家企业不存在某种程度的这种问题。
这一现实将上下文从一个技术挑战转变成了一个运营挑战。
仅仅将AI系统连接到企业信息并不能提高这些信息的质量,在某些情况下,它反而暴露了此前被人类的自主解读和内部心照不宣的经验所掩盖的长期不一致性。Gartner长期以来一直将糟糕的数据质量视为成功实施分析和AI项目最显著的障碍之一,因为无论技术变得多么先进,糟糕的输入必然会产生不可靠的输出。
随着AI更深地融入业务运营,企业将需要新的方法来评估其系统所依赖的上下文,他们需要清晰地看到信息是如何被使用的、定义在何处发生冲突、哪些来源是值得信赖的,以及上下文的质量如何影响最终结果,上下文不能被视为一种静态资产,它必须随着时间的推移被衡量、监控和改进,就像企业衡量基于其构建的模型和应用质量一样。
从“获取访问权”向“确保可靠性”的转变
在过去的几年里,整个行业都把目光聚焦在访问权限上,我们如何将模型连接到企业系统?我们如何开放组织内部的知识?我们如何让AI看清人们每天都在使用的数据?
这些问题在当时很重要,因为它们代表了真正的技术壁垒,而今天,许多壁垒正在消退。
大多数企业现在已经能够将AI系统连接到数据仓库、应用程序、仪表盘、文档和知识库。现在的对话正开始转向一个更困难的问题:确定这些连接是否真正产生了人们信赖的结果。
这正是企业级AI下一阶段的胜负手所在。
将上下文视为数量问题的企业,将继续添加更多信息并寄希望于准确率能自行提升,而将上下文视为质量问题的企业,则会专注于信任、一致性、治理以及结果的可靠性。
这两种方法之间的区别听起来可能很微妙,但它带来的影响是巨大的。一种方法造就了能够访问信息的系统,而另一种方法则造就了人们愿意信赖并据此做出决策的系统。
在企业级应用中,这种区别最终决定了一切。
