Shell Daily 2026-04-19: 原序去重 (Awk Unique)
排查业务日志时，你可能提取出了一长串报错的 IP 列表。为了去除重复项，肌肉记忆通常会驱使你敲下这行经典组合：sort error_ips.txt | uniq。
对于纯粹的集合统计，这招很好用。但如果你处理的是一份有严格时间先后顺序的流式日志，或者一份带有第一行表头的 CSV 文件，sort 会毫不留情地把原有的时间线彻底打乱，甚至把表头排序到数据中间去。在很多场景下，我们真正需要的操作是：“去除重复项，但绝对保留数据最初始的先后顺序”。
怎么用
利用 awk 的关联数组（字典）特性，只需一行极简代码就能实现原序去重，完全不需要借助 sort。
- 核心语法：
awk '!a[$0]++' filename - 原理解释：
a相当于一个字典，$0代表当前整行内容。每次读取新的一行，就在字典中查它，并让它的计数器+1。如果它是第一次出现（原来的值为 0），加上!取反后为真（True），awk就会触发默认动作：将该行打印出来。如果是重复项，取反后为假，静默跳过。 - 性能优势：由于不需要像
sort那样在内存或磁盘中对全量数据进行比对排序，它的时间复杂度只有 O(N)。处理几十 GB 的大文件时，速度快得惊人。 - 兼容性：POSIX 通用。无论是 Linux 的 GNU Awk 还是 macOS/BSD 自带的原生 Awk，都能完美支持。
适用场景
- 时序日志溯源：找出一个时间段内，每个被封禁的恶意 IP 首次发起攻击的原始日志行。
- 配置文件合并：将多个
hosts文件或配置项合并时，只保留排在前面的高优先级定义，忽略后面的重复项。 - 无损 CSV 清洗：在不破坏原始入库顺序、不扰乱第一行表头的前提下，去除完全重复的数据行。
示例 1：纯粹的原序去重
假设你有一个按时间生成的部署记录 deploy_history.log，你只想知道依次部署过哪些服务，保留它们首次出现的先后顺序。
# 笨办法：打乱了时间顺序，你不再知道谁先谁后
$ sort deploy_history.log | uniq# 稳妥做法：完美保留原始时间线，见一个记一个
$ awk '!seen[$0]++' deploy_history.log
示例 2：按指定列去重
这是 sort | uniq 极难优雅实现的进阶操作。假设日志中有时间戳和用户 ID，你只想根据“用户 ID”（第二列）来去重，提取每个用户当天的第一条活动记录。
# 假设 access.log 格式为：[时间] [UserID] [操作]
# 将 $0 换成 $2，即可仅依据第二列的值进行判重，但依然打印完整记录
$ awk '!seen[$2]++' access.log > first_actions.log
(注：掌握这个 Awk 范式，不仅解决了顺序丢失的痛点，还会让你在处理超大文本时彻底告别 sort 带来的内存焦虑。)