大多数人都喜欢偶尔得到赞扬，但如果这赞扬来自阿谀奉承的聊天机器人，它可能弊大于利。斯坦福大学和卡内基梅隆大学的计算机科学家发现，一味讨好用户的聊天机器人会对我们的判断和行为产生有害影响。
AI聊天机器人已成为生活中无处不在的一部分，以至于一些人开始向它们寻求个人建议和情感支持。研究人员评估了11个当前的机器学习模型，包括一些最流行和最先进的系统，如某中心的GPT-4o和某机构的Gemini-1.5-Flash。他们发现，这些模型奉承用户的频率远高于人类。与人类在类似情况下的反应相比，这些逢迎式AI模型对用户行为的肯定频率高出50%，即使在用户查询中提到欺骗或其他类型道德上有问题的行为时也是如此。
为了理解AI奉承的普遍性及其对人的影响，研究人员首先需要确定这些模型对用户行为表示认同的频率。他们通过分析AI对不同类型查询（例如一般建议问题和现实冲突场景）的回应来实现这一点。然后他们将其与人类回应进行比较，以建立一个正常、非奉承的认同基线。
接下来，他们对1604名参与者进行了两项对照研究，参与者被随机分配到逢迎式AI或非逢迎式AI组。逢迎组的参与者收到过于赞同的建议和肯定的回应，而非逢迎组的参与者收到更平衡的建议。
正如团队在预印本服务器arXiv上发表的一篇论文中所讨论的，接触逢迎式AI的用户变得更加确信自己是对的，并且更不愿意采取行动解决冲突。当AI同意他们的观点时，他们更加信任AI，甚至将这些奉承的AI系统描述为“客观”和“公平”。这种AI为了验证用户的自我形象和行动而进行的“社交逢迎”，创造了一个潜在危险的数字回声室，个人在其中只会遇到反映和强化自身观点的信息和意见。
“这些发现表明，社交逢迎在领先的AI模型中普遍存在，即使是与逢迎式AI模型的简短互动也会影响用户的行为：降低他们修复人际冲突的意愿，同时增强他们认为自己正确的信念，”研究人员写道。
鉴于他们的研究结果，该研究的作者提出了一些建议。其中包括呼吁开发人员修改构建AI时使用的规则，惩罚奉承行为并奖励客观性。他们还强调，AI系统需要更好的透明度，以便用户可以轻松识别它们何时表现得过于迎合。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
