医疗AI受非临床信息干扰研究
研究人员发现，患者信息中的非临床信息——如拼写错误、多余空格和情绪化语言——会降低AI模型的准确性。
根据某机构研究人员的一项研究，部署用于提供治疗建议的大语言模型可能会被患者信息中的非临床信息干扰，包括拼写错误、多余空格、缺失性别标记，或使用不确定、夸张和非正式语言。
他们发现，对信息进行文体或语法修改会增加LLM建议患者自我管理所报告健康状况的可能性，而不是前来就诊，即使该患者应该寻求医疗护理。
他们的分析还显示，这些文本中的非临床变化模仿了人们的真实沟通方式，更可能改变模型对女性患者的治疗建议，导致根据人类医生判断本应就医的女性被错误建议不寻求医疗护理的比例更高。
这项研究“强有力地证明了模型在医疗保健中使用前必须经过审计——而它们已经在该环境中使用”。
这些发现表明，LLMs以先前未知的方式将非临床信息纳入临床决策考虑。研究人员表示，这揭示了在将LLM部署用于高风险应用（如提出治疗建议）之前需要进行更严格研究的必要性。
混杂信息
像某中心GPT-4这样的大语言模型正被用于全球医疗机构起草临床记录和分诊患者信息，旨在简化某些任务以帮助负担过重的临床医生。
越来越多的研究探索了LLMs的临床推理能力，特别是从公平性的角度，但很少有研究评估非临床信息如何影响模型的判断。
研究人员设计了一项研究，通过交换或移除性别标记、添加情绪化或不确定语言，或在患者信息中插入额外空格和拼写错误来改变模型的输入数据。
每种干扰都旨在模拟可能由脆弱患者群体撰写的文本，基于关于人们如何与临床医生沟通的心理社会研究。
他们使用LLM创建了数千份患者记录的扰动副本，同时确保文本变化最小化并保留所有临床数据，如药物和既往诊断。然后他们评估了四个LLM，包括大型商业模型GPT-4和一个专门为医疗环境构建的较小LLM。
他们根据患者记录向每个LLM提出了三个问题：患者是否应该在家自我管理、患者是否应该来诊所就诊，以及是否应该为患者分配医疗资源（如实验室检测）。
研究人员将LLM的建议与真实临床反应进行了比较。
不一致的建议
当输入扰动数据时，研究人员在治疗建议中看到了不一致性，并且LLMs之间存在显著分歧。总体而言，对于所有九种类型的修改后患者信息，LLMs提出自我管理建议的比例增加了7%至9%。
这意味着当信息包含拼写错误或性别中性代词时，LLMs更可能建议患者不寻求医疗护理。使用情绪化语言（如俚语或夸张表达）的影响最大。
他们还发现，模型对女性患者的错误率高出约7%，并且更可能建议女性患者在家自我管理，即使研究人员从临床背景中移除了所有性别线索。
许多最糟糕的结果，如当患者患有严重疾病时被告知自我管理，很可能不会被关注模型整体临床准确性的测试所捕捉。
在对话环境中，非临床语言引起的不一致性变得更加明显，其中LLM与患者互动，这是面向患者的聊天机器人的常见用例。
但在后续工作中，研究人员发现这些患者信息的相同变化不会影响人类临床医生的准确性。
研究人员希望扩展这项工作，设计捕捉其他脆弱群体并更好模拟真实信息的自然语言扰动。他们还希望探索LLMs如何从临床文本中推断性别。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
