缺失值与超出范围值处理实验报告

1.缺失值处理






2.超出范围值处理


基于 SPSS Modeler 的缺失值与异常值处理实验报告
一、实验目的
掌握 IBM SPSS Modeler 中数据导入、字段类型定义的基本操作。
学会识别并处理数据中的缺失值与超出合理范围的异常值。
理解数据清洗在数据分析流程中的核心作用，掌握 SPSS Modeler 中数据预处理的标准流程。
能够独立完成从数据导入、异常值处理到结果验证的完整数据清洗流程。

二、实验环境
硬件：Windows 系统计算机
软件：IBM SPSS Modeler 18.x
实验数据：演示数据集(1).xlsx（包含 17 个字段，涵盖名义型、连续型、标记型变量，存在缺失值与超出范围的异常值）

三、实验原理
1. 数据质量问题分类
缺失值：数据记录中字段为空、无有效取值的情况，会导致统计分析偏差、模型训练失效。
异常值（超出范围值）：变量取值超出业务逻辑或统计合理范围的数值，会干扰数据分析结果的准确性。
2. SPSS Modeler 数据处理核心逻辑
SPSS Modeler 通过数据流（Stream） 实现数据处理：从源节点导入数据，通过类型节点定义字段属性，对异常 / 缺失值进行丢弃 / 填充处理，最终通过输出节点验证处理结果，形成完整的数据清洗链路。
3. 常用处理方法
丢弃法：直接将缺失值、超出范围的异常值标记为 “丢弃”，在后续分析中排除该类数据，适用于异常占比低、不影响样本量的场景。
范围限定法：为连续型变量设置合理的上下限，将超出范围的数值统一标记为异常并处理。

四、实验步骤
步骤 1：搭建基础数据流，导入数据
打开 SPSS Modeler，新建空白流（流 1）。
在下方「源」选项卡中，拖拽Excel节点到画布，双击节点，选择本地路径D:\演示数据集(1).xlsx，完成数据导入。
在「输出」选项卡中，拖拽表格节点到画布，用鼠标连线将 Excel 节点与表格节点连接，用于后续查看原始数据。
拖拽类型节点到画布，连接 Excel 节点与类型节点，用于定义字段属性、处理异常值。
此时数据流结构：Excel源节点 → 类型节点 → 表格输出节点，对应图 1 的初始流搭建。

步骤 2：识别异常字段，定义处理规则
双击 Excel 源节点，切换到「类型」选项卡，查看所有字段的属性：
可以看到Announcem...（AnnouncementsView）字段的「值」为[1.0,110.0]，「缺失」列标记为「丢弃」，说明该字段存在超出合理范围的异常值（业务中该指标合理范围应为 0-100，110 为异常值）。
同时可查看其他字段的缺失状态，如SectionID字段「缺失」为「丢弃」，存在缺失值。

双击AnnouncementsView字段，进入值设置窗口：
测量类型选择「连续」，值设置为「指定值和标签」。
将上限从 110.0 修改为 100.0，限定该字段的合理取值范围为 0.0-100.0。
「检查值」下拉选择「丢弃」，将所有超出 0-100 范围的数值（如 110）标记为异常，在后续分析中自动丢弃。
点击「确定」保存设置。

步骤 3：执行数据流，验证处理结果
点击工具栏的绿色「运行」按钮，执行完整数据流。
运行完成后，双击类型节点，再次进入「类型」选项卡：
点击「读取值」按钮，重新读取处理后的数据字段属性。
确认AnnouncementsView字段的「值」已更新为[0.0,100.0]，「缺失」列状态正常，异常值已被过滤。
打开表格节点，查看输出数据，确认所有超出范围的异常值、缺失值已被成功剔除，数据符合质量要求。

五、实验结果与分析
1. 处理前后对比

2. 结果分析
本次实验通过范围限定 + 丢弃法，成功处理了AnnouncementsView字段的超出范围异常值，同时清理了SectionID等字段的缺失值，数据质量得到显著提升。
处理后的数据可直接用于后续的统计分析、建模等工作，避免了异常值导致的统计偏差、模型失效等问题。
该方法操作简单、逻辑清晰，适用于教育、调研等场景下的问卷数据、行为数据清洗，是 SPSS Modeler 中最常用的缺失值 / 异常值处理方案。

六、实验总结与拓展
1. 实验总结
本次实验完整复现了 SPSS Modeler 中数据清洗的标准流程：
数据导入：通过 Excel 源节点完成外部数据读取。
异常识别：在类型节点中定位缺失值、超出范围的异常值。
规则设置：为连续型变量设置合理范围，将异常值 / 缺失值标记为丢弃。
结果验证：运行数据流，重新读取字段值，确认处理效果。
通过本次实验，掌握了 SPSS Modeler 数据预处理的核心操作，理解了数据清洗在数据分析中的前置性、基础性作用。