非量表问卷信效度分析，用内容效度 + 重测信度评估数据质量

在进行问卷分析时，你是否遇见过下面这样的问题：

• 我做的是非量表问卷，还需要做信效度分析吗？
• 导师让我对自编非量表问卷进行信效度分析怎么办？
• 看了好多教程，都说信效度分析是量表的‘专属’，非量表问卷怎么评估数据质量？

其实答案很明确：

• 一般情况下，非量表问卷无需进行信效度分析——不同于量表问卷需要通过信效度检验确保测量的准确性和一致性，非量表问卷以收集具体事实、行为等基础信息为主，无需额外进行信效度评估；
• 但如果遇到导师严格要求、期刊发表需要等特殊情况，需要评估问卷数据质量，那么非量表问卷核心评估维度就可以从“内容效度”与“重测信度”下手，量表常用的克隆巴赫α系数（内部一致性信度）、因子分析（结构效度），完全不适合非量表问卷，强行使用会得出无效结论。

本文将深度解析如何通过“内容效度”与“重测信度”这两大核心工具，科学、严谨地评估非量表数据质量，并基于SPSSAU软件演示如何完成内容效度和重测信度分析。

一、非量表问卷VS量表问卷

在正式展开前，我们需要先明确一个基本问题：非量表问卷和量表问卷的区别？

1、量表问卷（又称李克特量表）：通常采用五点或七点计分方式，如“非常不满意—非常满意”，每题得分可以累加，形成一个有连续意义的数值变量。这类问卷的信效度分析，通常使用克隆巴赫α系数和因子分析（探索性因子分析/验证性因子分析）进行检验。

2、非量表问卷：由单选题、多选题、填空题等构成，每道题测量的是独立的事实或类别（如性别、职业、购买行为、品牌选择等），各题之间不具备同质性，无法通过累加得分获得有意义的“总分”。这也正是传统信效度分析方法（如内部一致性信度和结构效度）不适用于非量表问卷的根本原因。

那么，非量表问卷就无法进行信效度分析了吗？当然不是。信度是指使用某研究工具所获得结果的一致程度或准确程度；效度是指研究工具能真正反映它所期望研究概念的程度。只要理解这两个概念的本质，就能找到适用于非量表问卷的分析方法。

二、非量表问卷内容效度评估

非量表问卷题目（单选、多选、填空等），无法使用因子分析等统计方法进行效度检验，这种情况下应对问卷的内容效度进行分析，以证明问卷设计的合理性和有效性。

内容效度的核心评估方法是专家评分法：邀请相关领域的专家，对问卷的每道题目进行评分，判断题目是否贴合调研目的、表述是否清晰、是否有冗余或遗漏。可使用文字论证法或内容效度指数法。

1、文字论证法

如果研究要求不是特别严格，或者专家资源有限，可以通过文字论证的方式来呈现内容效度。建议从以下几个方面展开：

• 问卷设计过程说明：清晰阐述题目设计的逻辑和思路，说明每道题与测量目标之间的对应关系。
• 参考文献依据：说明问卷设计参考了哪些权威文献或已有工具。
• 预测试与修订过程：描述是否进行了小范围预测试，根据反馈做了哪些修改和优化。
• 专家或同行认可：说明问卷设计是否经过了导师、专家或同行的审阅和认可。

2、内容效度指数法

如果希望在论文中呈现更严谨、可量化的效度指标，建议采用内容效度指数法。CVI是国际上广泛认可的内容效度量化指标，在量表开发和问卷质量评估中被普遍采用。

（1）I-CVI指标

内容效度的计算上较为简单，专家打分只能为1/2/3/4分，3/4分表示测量项较好或者好，那么首先计算出每项时打分为3/4分的专家数量，从而得到打分为3/4分的占比情况（即I-CVI指标），该指标值越大越好，可使用该指标进行内容效度判断。一般最少需要3位专家评估，其判断标准如下表格：

当专家人数≤5个时即专家个数较少时，此时希望专家打分均为3/4分。如果专家个数＞5个时，此时只要78%的专家打分为3/4分即可。

（2）校正内容效度（调整Kappa，K*值）

为防止专家打分出现随机性，还可计算专家打分随机一致性概率Pc值，并且计算校正内容效度（调整Kappa，K*值），进一步进行内容效度判断。

• 专家打分随机一致性概率Pc值= C(n,A)*(0.5^n)，此处n表示专家总数量，A表示某测量项时专家打分为3/4的个数，C表示数学上的组合计算。
• 调整Kappa（K*值）= (I-CVI值 – Pc值) / (1 – Pc值)

如果是正常的专家打分数据，Pc值通常较高，最后结合调整Kappa值进行内容效度判断，其判断标准如下表格：

调整Kappa值越大越好，一般大于0.6即说明内容效度良好，但如果调整Kappa值小于0.4则无法接受。

（3）整体内容效度S-CVI值

I-CVI指标是针对具体每个题目，当然还可计算全部一起的问卷题目，即对整个问卷的内容效度进行评价。其有两个指标，分别全体一致S-CVI(也称S-CVI或UA值)，还有平均S-CVI指标值。

• 全体一致S-CVI = 打分全部都为3/4的测量项个数 / 总测量项个数，通常其判断标准是0.8，即需要有80%以上的测量项全部都被专家认为是良好或者好才行。
• 平均S-CVI则是I-CVI指标的算术平均值，通常标准为0.9。一般情况下可能使用I-CVI较多。

参考文献：

[1] 史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报：医学版, 37(2), 4.

[2] 柯友枝, 孙建刚, 李博, 刘阳. 问卷是否有效——基于2010-2020年CSSCI收录体育期刊文献的系统分析[J]. 上海体育学院学报, 2023, 47 (02): 37-47+103.

3、SPSSAU内容效度软件操作

在SPSSAU【问卷研究】模块，选择【内容效度】，按提示将专家对每个问题的评分（只能是1/2/3/4分，分值越高越有效）粘贴或修改后，点击“开始分析”按钮，操作如下图：

4、内容效度分析结果解读

SPSSAU输出内容效度分析结果如下：

（1）测量项内容效度专家评分及指标计算

分析上表可知：

• CVI：所有3个测量项的I-CVI值均为1.000，大于6位专家时的临界值（通常为0.78），说明每个测量项的内容效度均达标。
• 调整Kappa K*值：所有3个测量项的K值均为1.000，大于0.74的“优秀”标准，说明校正后的内容效度非常优秀。

本次内容效度分析结果非常理想，问卷内容能有效反映所测特质。

【建议】通常情况下建议使用校正内容效度即针对调整Kappa K*值进行判断，因为K*值将专家打分独立性纳入考虑范围。

（2）整体内容效度

上表格展示整体内容效度的两个指标——全体一致S-CVI和平均S-CVI指标。分析上表可知，全体一致S-CVI = 15/15=1≥0.8，通过。平均S-CVI指标，其为I-CVI指标的算术平均为1>=0.9，其通过。

【建议】全体一致S-CVI指标衡量的是所有测量项整体内容效度情况，而平均S-CVI指标衡量的是平均内容效度，一般查阅全体一致S-CVI可能更加适合。

（3）不同专家人数各情况下I-CVI评估速查表

上表格为不同专家人数及打分为3/4分时专家个数不同情况时的评估速查表。I-CIV指标和调整Kappa这两个指标均可对内容效度进行评价，但二者评价结果可能出现不一致，原因在于二者计算公式和评价标准不一致。

以上即为非量表问卷有效性检验方法——内容效度分析的全部内容，该方法通过专家打分对问卷的有效性和合理性进行检验，内容效度指标的计算简单也比较通俗易懂。

三、非量表问卷重测信度分析

如果说内容效度是“检验题目设计是否合理”，那重测信度就是“检验测量结果是否稳定”。

1、重测信度

重测信度是指用同一研究工具两次测定同一研究对象，所得结果的一致程度。一致程度越高，说明研究工具的稳定性越高，重测信度也就越高。

对于测量事实或类别的非量表问卷，重测信度是最适合的信度评估方法。它通过对比同一批人在两个时间点（通常间隔2周）的回答是否一致，来判断问卷的可靠性。

比如你调研“大学生外卖购买行为”，让100名大学生今天填一次问卷，2周后再让这100名大学生填一次相同的问卷，如果两次填写的结果高度一致，说明重测信度高，数据稳定可靠；如果两次结果差异很大，说明问卷测量不稳定，数据不可信。

2、收集重测数据

（1）选取同一批被试：重测的被试必须和第一次测量的被试完全一致，不能更换被试。在数据收集时，需要通过某种标识（如手机号后四位、学号等）进行匹配；

（2）两次测量的问卷完全一致：题目、选项、表述都不能修改，确保测量工具相同；

（3）两次测量的时间间隔：需要把握尺度，多数研究者推荐2周左右较为合适；

（4）控制无关变量：两次测量的场景、时间、环境尽量一致（比如都是线上填写，都是晚上8点左右），避免无关因素影响被试的回答。

3、按题目类型选择分析方法

重测信度的分析需要根据不同的题目类型选择相应的统计方法。需要注意的是，重测信度不适用开放题和未处理的多选题。

（1）数值型填空题（如年龄、收入、消费金额）推荐使用皮尔逊相关系数。

将同一批受访者两次测量的数值进行相关分析，相关系数越高，说明数值越稳定。一般认为相关系数大于0.7表示重测信度良好。

（2）二分类定类题（如男/女，是/否）推荐使用Kappa系数。

Kappa系数专门用于评价分类变量结果的一致性。一般认为κ≤0.4表示一致性较差；0.4＜κ≤0.6表示中度一致；0.6＜κ≤0.8表示有较高的一致性；κ＞0.8表示有极好的一致性。

（3）多分类定类题（如职业、品牌偏好、教育程度）这类题目需要根据选项的性质区分处理：

• 无序多分类（选项无顺序关系，如职业：学生/公务员/企业员工/自由职业）：推荐使用简单Kappa系数，关注两次回答是否完全相同。
• 有序多分类（选项有等级顺序，如满意度：非常不满意/不满意/满意/非常满意）：推荐使用线性加权Kappa系数。加权Kappa认可“近似”回答的合理性，例如第一次选“不满意”、第二次选“非常不满意”的偏差，应比从“不满意”跳到“非常满意”的偏差更小，给予较轻的惩罚。

4、SPSSAU重测信度软件操作

（1）数据格式整理

重测信度的数据格式，核心是同一被试，两次测量结果在同一行。在Excel中，你需要将两次测量作为不同的问题（列）横向排列，数据格式示例如下图：

• 行一一对应： 第一行必须是用户1的两次回答，第二行必须是用户2的两次回答。
• 样本量一致： 两次测量的人数必须完全相等。如果第二次有人没填，那一整行（包括第一次的数据）通常都需要剔除。
• 变量命名： 建议加上前缀（如T1代表Time1，T2代表Time2），方便在SPSSAU拖拽变量时快速区分。

（2）SPSSAU软件操作

将数据整理好后，上传至SPSSAU平台。按题目类型选择分析方法：例如针对连续变量“年龄”，使用【通用方法】模块【相关系数】进行重测信度分析，操作如下图：SPSSAU输出相关系数结果如下：分析上表可知，第一次测量与第二次测量年龄结果相关系数为1，意味着大家对年龄没有撒谎，两次测量结果完全一致，重测信度非常高。

• 针对二分类变量“性别”或无序多分类变量“职业”，使用SPSSAU【实验/医学研究】模块【Kappa】中的“简单Kappa”进行重测信度分析；
• 针对有序多分类变量“产品满意度”使用“加权Kappa(线性Cohens)”进行分析。

SPSSAU操作如下图：SPSSAU输出Kappa系数结果如下：分析上表可知，第一次与第二次测量产品满意度Kappa系数为0.795，说明一致性程度较强，重测信度较高。

最终每道题目得到的重测信度结果可整理为一个表格，如下表：

5、重测信度结果报告

• 做法1：合并报告重测信度范围

非量表问卷的题目多为“独立信息收集”，每题无关联（如年龄、性别、职业），逐题报告只会增加冗余，无实际意义；导师一般更关注整体数据稳定性，而非单题稳定性，所以一般合并报告更符合学术规范。

最简单的做法可参考以下话术：

“本研究对问卷中的24项非量表题进行了间隔两周的重测信度分析。结果显示，各题项的 Pearson相关系数（或Kappa值）介于0.712至0.925之间，且均在0.01水平上呈现显著性。这表明问卷各题项在时间跨度上具有良好的测量稳定性，数据质量可靠。”

• 做法2：分类按维度报告重测信度范围

如果你的非量表题可以归纳为几个大类（如：个人基本信息类、消费行为类、态度倾向类），可按类别报告重测信度结果范围，将最终结果整理成如下表格：

总结：

• 非量表问卷无法使用克隆巴赫α系数和因子分析进行信效度检验，但可以采用“内容效度+重测信度”的方法来评估数据质量。
• 内容效度的核心是证明问卷题目准确、全面地反映了测量目标。可以通过定性文字论述或定量CVI指标相结合的方式呈现。
• 重测信度的核心是评估问卷的稳定性。关键在于根据题目类型选择正确的统计方法：数值题用相关系数，分类题用Kappa系数。
• SPSSAU软件可进行内容效度与重测信度分析。