The Collective Turing Test: Large Language Models Can Generate Realistic Multi-User Discussions
一、文章主要内容总结
本文围绕大型语言模型（LLMs）能否生成足以混淆人类的社交媒体多用户对话展开研究，核心是通过“集体图灵测试”验证LLMs模拟人类在线群体交流的有效性。
- 研究背景：基于主体的建模（ABM）在模拟社会现象时存在人类行为简化、数据稀缺等问题，而LLMs的角色扮演能力为改进社会模拟提供了可能。但LLMs模拟多用户对话的有效性尚未得到充分验证，且社交媒体干预实验存在伦理风险与数据获取限制，亟需可靠的模拟工具。
- 研究设计：
- 数据来源：从Reddit收集2023年12月的真实对话（涵盖8个主题），避免与LLMs训练数据重叠；
- 模型选择：使用Llama 3 70B和GPT-4o两种模型，按真实对话的长度、结构生成人工对话；
- 实验流程：251名参与者（经注意力测试后保留203名）需在并排呈现的“真实对话-人工对话”对中识别真实对话，同时收集参与者区分两者的线索。
- 核心发现：
- 整体上，39%的LLM生成对话被误认为人类创作，超过图灵测试30%的混淆阈值；
- Llama 3 70B生成的对话更难区分（人类正确识别率仅56%），显著优于GPT-4o（正确识别率66%）；
- 对话长度对识别准确率无显著线性影响，但存在非线性趋势：长度为8条评论时识别率最高，过长（16条）可能因参与者疲劳导致识别率下降；
- 参与者主要通过风格（82.5%提及，如语气、正式度）