《QGIS快速入门与应用基础》301：数据预处理（去重、缺失值删除）
作者：翰墨之道，毕业于国际知名大学空间信息与计算机专业，获硕士学位，现任国内时空智能领域资深专家、CSDN知名技术博主。多年来深耕地理信息与时空智能核心技术研发，精通 QGIS、GrassGIS、OSG、OsgEarth、UE、Cesium、OpenLayers、Leaflet、MapBox 等主流工具与框架，兼具学术深度与工程实践经验。
专注于时空数据可视化、地理信息系统开发、三维场景搭建等方向，持续在CSDN分享技术干货与实战案例，累计产出多篇高质量原创内容，深受行业开发者认可。诚邀对时空智能、GIS技术、三维技术感兴趣的朋友，共探技术前沿、交流实践心得，携手推动相关领域技术落地与创新！
文章目录
- 8.3.1.3 数据预处理（去重、缺失值删除）
- 一、预处理前置准备工作（新手100%先完成）
- 1.1 强制数据备份（零容错红线）
- 1.2 预处理核心原则与字段优先级划分
- 1.3 工具准备
- 二、核心步骤一：缺失值的识别与规范处理
- 2.1 Excel/WPS保姆级操作（新手首选）
- 步骤1：全量缺失值快速识别与标记
- 步骤2：必填字段缺失值处理（零容忍，必须整行删除）
- 步骤3：选填字段缺失值规范处理（高兼容，不删整行）
- 步骤4：缺失值处理结果校验
- 2.2 QGIS原生缺失值处理（进阶，适合大数据量）
- 三、核心步骤二：重复数据的识别与精准去重
- 3.1 Excel/WPS保姆级去重操作（新手首选）
- 步骤1：完全重复数据一键去重
- 步骤2：空间重复数据精准去重（核心必做）
- 步骤3：隐性重复数据优化处理（选做，进阶）
- 3.2 QGIS原生去重操作（进阶，适合大数据量）
- 四、配套预处理步骤（与去重、缺失值强绑定，新手必做）
- 4.1 异常值过滤
- 4.2 字段格式标准化
- 4.3 CSV格式与编码最终校验
- 五、预处理结果有效性最终校验（新手必须100%完成）
- 六、新手高频踩坑问题与解决方案
8.3.1.3 数据预处理（去重、缺失值删除）
上一小节我们完成了餐饮POI-CSV数据的合规获取、标准化字段设计与格式规范，而在正式加载到QGIS进行可视化分析之前，数据预处理是决定整个项目分析成果是否准确、后续操作是否顺畅的核心生命线。
GIS行业有一句公认的铁律：「垃圾进，垃圾出（Garbage In, Garbage Out）」。无论后续的符号化设计多精美、空间分析模型多专业，若底层数据存在缺失值、重复数据、异常值，最终的分析成果都会完全失真，甚至会出现QGIS加载无点位、坐标偏移、密度图结果错误等一系列新手高频问题。
本小节完全围绕项目需求中的「去重、缺失值删除」两大核心要求展开，同时补充配套的标准化预处理流程，采用**「Excel/WPS保姆级操作+QGIS原生工具操作」双路径教学**（新手优先从熟悉的Excel入手，再进阶QGIS批量处理），每一步操作都有明确的规范、可落地的步骤、避坑红线与校验标准，确保你处理后的每一条POI数据都100%适配QGIS，从根源规避90%的新手操作坑。
一、预处理前置准备工作（新手100%先完成）
预处理操作不可逆，新手极易因操作失误导致原始数据丢失、有效数据误删，因此必须先完成以下3项准备工作，再开始正式处理。
1.1 强制数据备份（零容错红线）
绝对禁止在原始下载的数据文件上直接操作，必须先完成双备份：