当前位置：首页 > news >正文

达梦数据库查重实战：多字段联合去重完整指南

news 2026/3/27 1:19:49

达梦数据库查重实战：多字段联合去重完整指南

今天在工作中处理了一个达梦数据库的查重需求，记录下解决方案，分享给可能遇到类似问题的朋友。

📋 问题背景

需要从UM_USERINFOAPPLY表中，根据USERINFO_CODE + GMT_MODIFIED两个字段的组合值进行查重。其中：

USERINFO_CODE：用户信息编码（字符串类型）
GMT_MODIFIED：修改时间（可能是时间类型或字符串类型）

🎯 核心挑战

两个字段直接拼接可能导致边界模糊，比如：

"ABC2023" + "01-01"和"ABC" + "202301-01"难以区分
因此需要在两个字段之间添加分隔符

🔧 解决方案汇总

1.基础查重查询（推荐）

-- 添加空格分隔符，避免字段值边界模糊 SELECT CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS 组合字段, COUNT(*) AS 重复次数 FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) HAVING COUNT(*) > 1;

________________________________

-- 找出重复记录（用空格分隔）
SELECT
CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS combined_field,
COUNT(*) AS duplicate_count
FROM UM_USERINFOAPPLY
GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED)
HAVING COUNT(*) > 1;

2.查看重复数据详情

-- 找出所有重复的详细记录 SELECT t1.* FROM UM_USERINFOAPPLY t1 INNER JOIN ( SELECT CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS combined_key FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) HAVING COUNT(*) > 1 ) t2 ON CONCAT(t1.USERINFO_CODE, ' ', t1.GMT_MODIFIED) = t2.combined_key ORDER BY CONCAT(t1.USERINFO_CODE, ' ', t1.GMT_MODIFIED);

3.处理时间类型字段

如果GMT_MODIFIED是时间类型，需要先转换：

SELECT CONCAT(USERINFO_CODE, ' ', TO_CHAR(GMT_MODIFIED, 'YYYY-MM-DD HH24:MI:SS')) AS 组合字段, COUNT(*) AS 重复次数 FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', TO_CHAR(GMT_MODIFIED, 'YYYY-MM-DD HH24:MI:SS')) HAVING COUNT(*) > 1;

4.高效查重方案

-- 使用窗口函数，性能更好 WITH MarkedData AS ( SELECT *, ROW_NUMBER() OVER ( PARTITION BY USERINFO_CODE, GMT_MODIFIED ORDER BY ROWID ) AS rn FROM UM_USERINFOAPPLY ) SELECT * FROM MarkedData WHERE rn > 1;

5.删除重复数据

-- 删除重复记录，只保留第一条 DELETE FROM UM_USERINFOAPPLY WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER ( PARTITION BY USERINFO_CODE, GMT_MODIFIED ORDER BY ROWID ) AS rn FROM UM_USERINFOAPPLY ) WHERE rn > 1 );

💡 关键技术点

1.字段连接技巧

使用CONCAT(field1, ' ', field2)添加空格分隔
或者使用field1 || ' ' || field2（达梦支持）
关键：分隔符避免了字段值边界模糊问题

2.时间类型处理

使用TO_CHAR()函数统一时间格式
推荐格式：'YYYY-MM-DD HH24:MI:SS'
确保时间比较的一致性

3.性能优化

大数据量时创建临时索引：CREATE INDEX idx_temp ON table(field1, field2)
使用ROW_NUMBER()窗口函数替代子查询
查询后清理临时索引

📊 对比分析

方法	优点	缺点	适用场景
CONCAT分组	简单直观	性能一般	小数据量
窗口函数	性能好，功能强	语法稍复杂	大数据量
JOIN查询	可查看详情	性能较差	需要查看详情时
时间转换	处理时间类型	需要格式统一	字段有时间类型时