AI对话系统可操纵购物选择

研究发现聊天机器人在操纵用户购买方面表现出色

敦促在广告行业缺乏适当披露机制前加以限制

大型语言模型极具说服力，研究人员表示当它们被用于广告时，这将成为一个问题。

来自某机构的三位计算机科学家着手研究对话式AI代理是否能在在线购物过程中操纵消费者的选择。结果表明它们能够影响用户行为，而且大多数被引导的消费者并未意识到这一点。

在一篇题为《AI中介对话中的商业说服》的预印本论文中，三位研究人员测试了基于AI的推广影响。

他们之所以进行这项研究，是因为在线商务越来越多地涉及AI中介。研究人员指出，已有30%至45%的某国消费者使用生成式AI进行产品研究和比较，截至2025年12月，约23%的消费者曾借助AI完成购买。

实验邀请约2000名电子书阅读者浏览某电子阅读器上的图书目录并选择一本书。研究者在后台系统中将五分之一的电子书标记为“赞助”，但并未向参与者透露。

在一项测试中，研究者设置了三种场景：类似网页搜索结果的搜索排名场景；聊天排名场景，参与者与大型语言模型互动，模型对可滑动的网页轮播图中展示的电子书提供中立描述；以及聊天说服场景，界面相同，但模型被指示引导参与者选择赞助产品。

第二项实验涉及对话式聊天界面，包含两种情景：一种是显性聊天说服情景，参与者被告知聊天机器人会推广赞助书籍；另一种是隐性聊天说服情景，模型被指示在不让参与者知晓其目标的情况下，说服他们选择赞助商品。

研究者随机分配了多个大型语言模型来处理这些对话，以确保结果不反映单一模型的倾向。

该机构的一位助理教授兼论文合著者在网上发帖称：“当代理被指示说服时，61%的参与者选择了赞助产品，几乎是传统搜索下22%比例的三倍。单纯与AI聊天（没有说服意图）的表现并不比搜索好：是说服意图驱动了效果。”

该教授补充说，透明度（即披露结果为赞助）并未实质性改变结果。在明确警告的情况下，仍有55.5%的参与者选择了赞助产品。

当AI模型被指示隐藏其意图时，用户对说服行为的察觉率从17.9%下降到仅9.5%，而说服率仅略微下降至40.7%。

传统搜索排名下的购买保留率（即使在被告知情况并提供1美元替代电子书后仍选择保留电子书的参与者比例）为33.1%。

聊天排名情景——聊天机器人与基于网页的轮播图结合做出中立推荐——是实验中唯一在购买保留率上低于传统搜索的版本（30.3%）。

其他三种面向聊天机器人的情景——聊天说服、显性聊天说服、隐性聊天说服——的购买保留率分别为37.6%、38.7%和38.2%。

某机构的一位博士生及论文通讯作者通过电子邮件表示，基于AI的推广与传统广告的关键区别在于，传统广告可以与周围内容分离。

“你可以滑过赞助结果、安装广告拦截器，或学会识别推广列表，”他解释道。“在对话式AI系统中，这种分离消失了：回答你问题的同一个模型也在选择突出哪些产品并决定如何描述它们。”

“这一点加上对话形式，使得普通人更难察觉和处理嵌入在AI中的广告，我们的结果证实了这一模式：即使在模型被激进指示说服的情况下，也只有不到五分之一的人能察觉到其任何偏见。”

当被问及实验是否试图区分基于对话的操纵和基于界面的操纵时，他表示聊天排名情景尝试隔离这种影响。

“当参与者与对话界面、轮播图和布局交互，但模型使用原始目录描述且没有说服指令时，赞助选择率仅上升到26.8%，与传统搜索的22.4%无显著差异。”

“而当模型被指示说服时，在界面保持不变的情况下，该比例增至61.2%。”

即便如此，他认为存在“对话式暗黑模式”——类似于操纵性的界面设计。

“我会列举诸如谄媚、拟人化以及我们在研究中观察到的一种选择偏见：模型选择性地淡化商业价值较低的选项，同时以适应用户偏好和个人资料的方式突出赞助内容，”他说。“这与任何传统静态系统有本质区别，并且可能远比它们更有效。”

实验结果表明，披露信息是必要的但还不够。

“除了披露，我们认为两项结构性干预值得认真考虑，”他说。“第一，推荐功能与商业目标之间的架构分离，使生成建议的模型不是同一套优化赞助转化的系统。”

“第二，对商业部署中的系统提示和模型行为进行独立审计，因为仅靠输出级别的检查不可信，我们已证明模型具备隐藏能力。”

该论文的第三作者为该机构的另一位研究者。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）