Normative Reasoning in Large Language Models: A Comparative Benchmark from Logical and Modal Pers...

文章核心总结与翻译

一、主要内容

文章聚焦大型语言模型（LLMs）的规范推理能力，从逻辑和模态视角展开系统评估。规范推理涉及义务、许可等道义模态，是社会推理的重要分支，对LLM遵循社会伦理法律原则、实现AI对齐至关重要。研究通过构建包含道义逻辑推理（单前提推论）和三段论推理（多前提推论）的数据集，对比LLM在规范推理与认知推理（知识信念相关模态推理）中的表现，同时分析内容一致性、否定表达等非形式因素的影响。结果显示，LLM虽能遵循部分有效推理模式，但在基础规范推理中存在不一致性，会表现出类似人类的认知偏差，且对含否定表达的推理任务挑战较大。

二、创新点

1. 首次从逻辑形式角度系统评估LLM的规范推理能力，弥补了过往研究侧重内容层面的不足。
2. 构建了涵盖规范与认知推理、包含多种逻辑模式和非形式因素的对比数据集，为该领域提供了标准化基准。
3. 揭示了LLM在规范推理中与人类认知的差异（如未遵循“规范推理比认知推理更易”的人类认知规律），以及否定表达对推理难度的显著影响。
4. 系统对比了零样本、少样本、思维链（CoT）三种提示策略对LLM规范推理表现的影响，为优化推理性能提供了实践参考。

三、核心部分翻译（Markdown格式）

Abstract

规范推理是一种涉及义务、许可等道义模态的推理形式。尽管大型语言模型（LLMs）在各类推理任务中展现出卓越性能，但其处理规范推理的能力