当前位置： 首页 > news >正文

Python模糊匹配与模式匹配实战：thefuzz与fnmatch模块详解

news 2026/5/16 0:29:05

1. 项目概述：当模糊匹配成为日常刚需

在数据处理、文本清洗、日志分析甚至是日常办公的自动化脚本里，我们总会遇到一个看似简单却极其磨人的问题：如何高效、准确地匹配字符串？比如，从一堆杂乱的产品名称里找出“iPhone 13 Pro Max”的所有变体（可能被写成“iphone13promax”、“IPHONE 13 PRO MAX”甚至“i-Phone 13 Pro-Max”），或者在一份用户反馈中，快速定位所有提及“登录失败”、“无法登陆”、“登陆不了”的条目。手动写正则表达式？对于简单的模式还行，一旦规则复杂、变体繁多，正则表达式就会变得像一团乱麻，难以维护且容易出错。

这就是为什么，掌握两个专门解决这类“模糊匹配”和“模式匹配”问题的Python模块，能让你从这种重复且易错的劳动中解放出来。它们不是re（正则表达式）模块的替代品，而是针对特定场景的强力补充和简化工具。今天要聊的这两个模块——fuzzywuzzy（及其更高效的继任者thefuzz）和rapidfuzz，以及fnmatch，就是能让你在处理字符串匹配问题时，效率直接拉满的“神器”。前者擅长处理“像不像”的问题，后者则精于解决“符不符合某种简单模式”的问题。无论你是数据分析师、运维工程师，还是任何需要和文本打交道的开发者，它们都能成为你工具箱里高频使用的利器。

2. 核心模块深度解析与应用场景

2.1fuzzywuzzy/thefuzz：模糊字符串匹配的瑞士军刀

这个模块的核心思想是计算两个字符串之间的“相似度”，而不是要求它们完全一致。它底层基于经典的**编辑距离（Levenshtein Distance）**算法，即通过计算将一个字符串转换成另一个字符串所需的最少单字符编辑（插入、删除、替换）次数来衡量差异。相似度分数通常以0到100的百分比形式呈现，分数越高，表示两个字符串越相似。

为什么选择它？在真实世界的数据中，拼写错误、缩写、大小写不一致、多余空格、顺序微调等问题无处不在。例如，客户数据库里可能同时存在“Microsoft Corporation”和“MicroSoft Corp.”。使用精确匹配你会一无所获，而模糊匹配能轻松识别出它们是同一个实体。thefuzz是fuzzywuzzy的一个维护更积极、性能更好的分支（fuzzywuzzy使用了GPL许可证，而thefuzz使用MIT许可证，且底层用C++实现了python-Levenshtein以加速），因此现在更推荐直接使用thefuzz。

主要应用场景：

  1. 数据清洗与标准化：统一公司名、产品名、人名等实体的不同写法。
  2. 记录去重：在非结构化数据中，找出并合并指向同一事物的重复记录。
  3. 搜索引擎建议：根据用户输入的不完整或错误查询，提供最可能的正确建议。
  4. 自然语言处理预处理：对齐来自不同来源的相似文本片段。

2.2fnmatch：Unix风格通配符的模式匹配

如果说thefuzz解决的是“模糊”问题，那么fnmatch解决的就是“模式”问题。它提供了一种非常直观的、类似于你在命令行或文件搜索中使用的通配符匹配方式。它的规则比正则表达式简单得多，学习成本几乎为零。

为什么选择它？当你需要匹配诸如“所有以.log结尾的文件”、“所有形如data_2023_*.csv的文件名”或者“所有user[0-9]模式的字符串”时，写一个完整的正则表达式r‘^.*\.log$‘或r‘^data_2023_.*\.csv$‘显得有点杀鸡用牛刀。fnmatch的语法更简洁、更符合直觉，尤其在处理文件名批量筛选时，能让你写出可读性极高的代码。

主要应用场景：

  1. 文件系统操作：批量筛选、查找符合特定模式的文件名或目录名。
  2. 日志过滤：快速筛选出符合特定命名规则的日志条目。
  3. 配置项识别：在配置文件中，匹配具有特定前缀或后缀的键。
  4. 简单的数据分类：根据键名的模式，将数据路由到不同的处理流程。

3.thefuzz模块实战：从安装到高级技巧

3.1 环境准备与基础用法

首先，安装推荐的thefuzz模块。由于它依赖python-Levenshtein进行加速，最好一并安装。

pip install thefuzz[speedup]

这个speedup选项会自动安装优化后的C++版本依赖，能带来数十倍的性能提升，对于处理大量数据至关重要。

基础使用非常简单，核心函数是ratio，它返回两个字符串的相似度分数（0-100）。

from thefuzz import fuzz str1 = "Apple Inc." str2 = "apple inc" str3 = "Google LLC" print(f"'{str1}' 与 '{str2}' 的相似度: {fuzz.ratio(str1, str2)}") print(f"'{str1}' 与 '{str3}' 的相似度: {fuzz.ratio(str1, str3)}")

输出可能类似于：

‘Apple Inc.’ 与 ‘apple inc’ 的相似度: 91 ‘Apple Inc.’ 与 ‘Google LLC’ 的相似度: 18

91分表明两者高度相似，只是大小写和标点有差异；18分则说明基本不相关。

3.2 四大匹配策略详解与选择

thefuzz提供了多种匹配策略，应对不同场景，这是它强大的关键。

1. 简单比率（ratio）即标准的编辑距离算法。它对字符顺序敏感。“Apple Inc”和“Inc. Apple”的相似度会很低，因为顺序完全不同。

适用场景：比较短文本、单词或顺序固定的短语。例如，核对产品型号、验证码。

2. 部分比率（partial_ratio）寻找较短字符串与较长字符串的任意子串之间的最佳匹配度。这解决了子串匹配的问题。

query = "Apple" target = "I have an Apple iPhone" print(fuzz.partial_ratio(query, target)) # 输出可能为 100

即使“Apple”只是长句的一部分，也能获得满分匹配。

适用场景：搜索关键词在长文本中的出现。例如，在文章内容中搜索特定术语，在地址中查找城市名。

3. 令牌排序比率（token_sort_ratio）先将字符串拆分成单词（令牌），按字母顺序排序，再重新组合成字符串，最后计算ratio。这忽略了单词间的顺序。

str1 = "Apple iPhone 13 Pro" str2 = "iPhone 13 Pro Apple" print(fuzz.ratio(str1, str2)) # 分数较低 print(fuzz.token_sort_ratio(str1, str2)) # 分数接近100

适用场景：比较包含相同单词但顺序不同的文本。例如，比较“张三 李四”和“李四 张三”，或者商品标签“红色 大号 衬衫”和“衬衫 大号 红色”。

4. 令牌集合比率（token_set_ratio）更进阶的策略。它先找出两个字符串的交集和差集，然后基于交集和差集的不同组合方式计算相似度，对重复单词和顺序不敏感，且对包含关系更友好。

str1 = "the quick brown fox" str2 = "the quick brown fox jumps over the lazy dog" # ratio和partial_ratio可能不是100，但token_set_ratio会是100或接近100 print(fuzz.token_set_ratio(str1, str2))

适用场景：这是最常用、最健壮的策略。适用于描述性文本、句子、标题的匹配，尤其是当一段文本是另一段的扩展或子集时。例如，匹配论文标题和其简化版，或匹配用户输入的简略查询与完整的产品描述。

选择策略的黄金法则：优先尝试token_set_ratio。在大多数实际文本匹配场景中，它因忽略单词顺序、重复和标点，且能处理包含关系，而表现出最强的鲁棒性。如果匹配对象是固定短语或代码标识符，再用ratio；如果是搜索子串，则用partial_ratio。

3.3 实战：从列表中提取最佳匹配 (process.extract)

真实场景中，你通常不是比较两个字符串，而是为一个查询字符串在一堆候选字符串中找到最佳匹配。process子模块的extract函数就是为此而生。

from thefuzz import process choices = ["Apple iPhone 13", "Samsung Galaxy S21", "Google Pixel 6", "Apple MacBook Pro", "iPhone 13 Pro Max"] query = "iphone 13 pro" # 提取相似度最高的3个结果，默认使用 `WRatio`（加权比率，一种智能组合策略） results = process.extract(query, choices, limit=3) print(results) # 输出: [('iPhone 13 Pro Max', 90), ('Apple iPhone 13', 86), ('Apple MacBook Pro', 45)] # 直接提取最佳匹配的一个结果 best_match, score = process.extractOne(query, choices) print(f"最佳匹配: {best_match}, 分数: {score}") # 输出: 最佳匹配: iPhone 13 Pro Max, 分数: 90

process.extract函数内部默认使用WRatio，它会根据字符串长度等因素，智能地在ratio,partial_ratio,token_sort_ratio,token_set_ratio等策略中选择和加权，通常能给出最佳结果。你也可以通过scorer参数指定其他策略，例如scorer=fuzz.token_set_ratio。

4.fnmatch模块实战：通配符匹配的艺术

4.1 通配符语法精讲

fnmatch的语法极其简单，只有几个特殊字符：

  • *：匹配任意数量的任意字符（包括零个字符）。
  • ?：匹配任意单个字符。
  • [seq]：匹配seq中的任意一个字符。例如，[abc]匹配a、b或c。
  • [!seq]：匹配不在seq中的任意一个字符。

注意：fnmatch的匹配默认是非锚定的，即‘*.py‘会匹配‘test.py‘、‘/some/path/test.py‘甚至‘something.py.bak‘中的.py部分。这与正则表达式默认的完整匹配不同。如果你需要确保匹配整个字符串，通常需要结合使用*在两端，或者使用fnmatch.fnmatchcase并自行处理边界。

4.2 基础与进阶使用示例

import fnmatch import os # 示例1：基础匹配 print(fnmatch.fnmatch(‘data.csv‘, ‘*.csv‘)) # True print(fnmatch.fnmatch(‘report.txt‘, ‘*.csv‘)) # False print(fnmatch.fnmatch(‘file123.txt‘, ‘file*.txt‘)) # True print(fnmatch.fnmatch(‘image.png‘, ‘image.??g‘)) # True (.?匹配p, .?匹配n) # 示例2：字符集匹配 print(fnmatch.fnmatch(‘log1.txt‘, ‘log[0-9].txt‘)) # True print(fnmatch.fnmatch(‘logA.txt‘, ‘log[0-9].txt‘)) # False print(fnmatch.fnmatch(‘logB.txt‘, ‘log[!0-9].txt‘)) # True (匹配非数字) # 示例3：筛选文件列表（经典场景） all_files = os.listdir(‘./logs‘) log_files = [f for f in all_files if fnmatch.fnmatch(f, ‘app_*.log‘)] print(f”找到日志文件: {log_files}“) # 可能输出: [‘app_20231001.log‘, ‘app_20231002.log‘, ‘app_error.log‘] # 示例4：`filter` 函数 - 直接返回生成器 patterns = [‘*.py‘, ‘*.md‘] all_files = [‘main.py‘, ‘data.csv‘, ‘README.md‘, ‘config.ini‘] matched = [] for pattern in patterns: matched.extend(fnmatch.filter(all_files, pattern)) print(f”匹配到的文件: {matched}“) # [‘main.py‘, ‘README.md‘]

4.3 大小写敏感性与translate函数

在Unix系统上，文件名匹配通常大小写敏感；在Windows上，则不敏感。fnmatch.fnmatch()的行为取决于操作系统。为了保持跨平台一致性，可以使用fnmatch.fnmatchcase()，它进行大小写敏感的匹配。

# 在Windows上，fnmatch(‘Test.txt‘, ‘*.TXT‘) 可能返回True # 使用fnmatchcase则严格区分大小写 print(fnmatch.fnmatchcase(‘Test.txt‘, ‘*.TXT‘)) # False print(fnmatch.fnmatchcase(‘TEST.TXT‘, ‘*.TXT‘)) # True

对于更复杂的场景，fnmatch.translate(pattern)函数可以将通配符模式转换为一个等效的正则表达式模式字符串。这在你需要将fnmatch的简洁语法与re模块的强大功能结合时非常有用。

pattern = ‘data_[0-9][0-9][0-9].csv‘ regex_pattern = fnmatch.translate(pattern) print(regex_pattern) # 输出类似: (?s:data_[0-9][0-9][0-9]\.csv)\Z # 你可以用这个regex_pattern配合re模块进行编译和匹配 import re regex = re.compile(regex_pattern) print(bool(regex.match(‘data_123.csv‘))) # True print(bool(regex.match(‘data_12.csv‘))) # False

5. 混合实战与性能优化指南

5.1 组合使用案例：智能文件分类器

假设我们有一个文件夹，里面混杂着各种文件：日志、数据备份、图片和文档。我们需要一个脚本，能智能地将它们分类。

import os import shutil from thefuzz import process import fnmatch # 定义分类规则：每个类别对应一个模式列表和可能的模糊匹配关键词 categories = { ‘logs‘: {‘patterns‘: [‘*.log‘, ‘*.txt‘], ‘keywords‘: [‘error‘, ‘warn‘, ‘info‘, ‘debug‘, ‘trace‘]}, ‘data_backups‘: {‘patterns‘: [‘*.bak‘, ‘backup_*‘, ‘*.sql‘, ‘*.dump‘], ‘keywords‘: [‘backup‘, ‘dump‘, ‘export‘]}, ‘images‘: {‘patterns‘: [‘*.png‘, ‘*.jpg‘, ‘*.jpeg‘, ‘*.gif‘]}, ‘documents‘: {‘patterns‘: [‘*.pdf‘, ‘*.docx‘, ‘*.xlsx‘, ‘*.pptx‘, ‘README*‘, ‘*.md‘]}, } source_dir = ‘./unorganized_files‘ for filename in os.listdir(source_dir): filepath = os.path.join(source_dir, filename) if os.path.isfile(filepath): categorized = False # 第一阶段：精确模式匹配 (fnmatch) for category, rules in categories.items(): for pattern in rules.get(‘patterns‘, []): if fnmatch.fnmatch(filename, pattern): target_dir = os.path.join(source_dir, category) os.makedirs(target_dir, exist_ok=True) shutil.move(filepath, os.path.join(target_dir, filename)) print(f”精确匹配: {filename} -> {category}“) categorized = True break if categorized: break # 第二阶段：模糊内容匹配 (thefuzz) - 如果文件名匹配失败，尝试匹配文件内容关键词 if not categorized: try: with open(filepath, ‘r‘, encoding=‘utf-8‘, errors=‘ignore‘) as f: content_preview = f.read(500) # 读取前500个字符 except: content_preview = filename # 如果读不了，就用文件名 for category, rules in categories.items(): keywords = rules.get(‘keywords‘, []) if keywords: # 在内容预览中搜索关键词 for keyword in keywords: # 使用部分匹配，阈值设为70 if process.extractOne(keyword, [content_preview], scorer=fuzz.partial_ratio)[1] > 70: target_dir = os.path.join(source_dir, category) os.makedirs(target_dir, exist_ok=True) shutil.move(filepath, os.path.join(target_dir, filename)) print(f”模糊匹配: {filename} (含‘{keyword}‘) -> {category}“) categorized = True break if categorized: break # 第三阶段：未分类文件放入“others” if not categorized: target_dir = os.path.join(source_dir, ‘others‘) os.makedirs(target_dir, exist_ok=True) shutil.move(filepath, os.path.join(target_dir, filename)) print(f”未分类: {filename} -> others“)

这个案例展示了如何将fnmatch的快速模式过滤作为第一道关卡，再结合thefuzz的模糊匹配作为补充，实现一个鲁棒性较强的自动化分类流程。

5.2 性能优化与避坑指南

thefuzz性能陷阱与优化：

  1. 务必安装speedup：如前所述，pip install thefuzz[speedup]是必须的，否则纯Python实现的编辑距离计算在大数据量下会慢得无法接受。
  2. 避免在大型列表上循环调用fuzz.ratio：如果你需要为单个查询匹配一个包含十万个候选的列表，使用process.extract(query, large_list, limit=10)。process模块内部进行了优化，比你自己写循环高效得多。
  3. 预处理候选列表：如果候选列表是静态的，可以预先对它们进行标准化处理（如转小写、去除标点），然后在匹配时也对查询字符串进行同样的处理，这能减少thefuzz需要处理的变化，并可能让你使用更简单的匹配器（如token_set_ratio）就达到目的，从而提升速度。
  4. 设置合理的分数阈值：process.extract返回所有结果，但你可以通过score_cutoff参数设置一个最低相似度阈值，低于此阈值的结果将被直接过滤掉，节省后续处理时间。例如process.extract(query, choices, scorer=fuzz.token_set_ratio, score_cutoff=80)。

fnmatch使用注意：

  1. *是贪婪的：‘*.py‘会匹配‘test.py.bak‘，因为它匹配了‘test.py‘部分。如果你只想匹配以.py结尾的文件，模式应该是‘*.py‘，但这在fnmatch中仍然可能匹配到中间包含.py的文件。最安全的方式是，如果可能，先获取文件列表，再用字符串的.endswith(‘.py‘)进行过滤，或者使用translate转换成正则表达式后使用^和$锚定。
  2. 转义特殊字符：如果你的模式中需要匹配字面意义的*、?、[，fnmatch没有提供直接的转义机制。这时要么使用正则表达式，要么用translate函数转换后再进行转义处理。
  3. 跨平台一致性：牢记fnmatch.fnmatch和fnmatch.fnmatchcase的区别。在编写跨平台脚本时，明确你需要的匹配行为，优先使用fnmatchcase来保证行为一致，除非你确实需要依赖操作系统的大小写规则。

6. 常见问题排查与场景深化

6.1thefuzz匹配结果不理想怎么办？

  1. 分数阈值设多少合适？没有绝对标准。对于严格场景（如公司名合并），可能需要85-90以上；对于宽松场景（如搜索建议），60-70可能就够了。一定要通过人工抽样检查来校准你的阈值。可以写个小脚本，随机抽取一批匹配分数在阈值附近的样本，人工判断是否正确，从而调整阈值。
  2. 中文匹配效果差？标准编辑距离算法基于字符，对中文字符效果尚可，但对中文分词不敏感。“我喜欢苹果”和“喜欢我苹果”在token_sort_ratio下分数会很高，但语义不同。对于中文，强烈建议先进行分词，然后用空格连接分词结果，再使用token_set_ratio。可以结合jieba等分词库。
    import jieba from thefuzz import fuzz str1 = “我喜欢苹果手机” str2 = “苹果手机我喜欢” str1_cut = ‘ ‘.join(jieba.cut(str1)) str2_cut = ‘ ‘.join(jieba.cut(str2)) print(f”分词后token_set_ratio: {fuzz.token_set_ratio(str1_cut, str2_cut)}“) # 分数会显著高于直接比较
  3. 超长文本匹配慢？编辑距离算法的时间复杂度是O(n*m)，文本很长时确实慢。考虑：
    • 截断：只比较前N个字符（如果信息集中在开头）。
    • 分块哈希（如SimHash）：先计算文本的SimHash值，比较海明距离，可以快速从海量文本中找出相似候选，再对候选集用thefuzz精细比较。
    • 使用专用搜索引擎：如Elasticsearch的Fuzzy Query，它专为大规模模糊搜索优化。

6.2fnmatch模式匹配不上？

  1. 隐藏字符问题：文件名可能包含换行符\n、空格等不可见字符。使用filename.strip()清理一下再匹配。
  2. 路径分隔符：模式‘*.py‘不会匹配‘subdir/test.py‘，因为fnmatch不是为路径设计的，它只是字符串匹配。对于路径匹配，应使用os.path模块的函数结合fnmatch，或者使用pathlib库的glob方法（它内部就使用了fnmatch）。
    import pathlib # 使用pathlib递归查找所有.py文件 py_files = list(pathlib.Path(‘.‘).rglob(‘*.py‘))
  3. 模式写错了：记住[a-z]匹配小写字母，[A-Z]匹配大写字母。file[0-9].txt只匹配file1.txt到file9.txt，不匹配file10.txt。匹配多位数字可以用file[0-9][0-9].txt或file[0-9]*.txt。

6.3 更复杂的模式匹配需求

当你的匹配规则超越了简单的通配符，比如需要匹配“以数字开头，中间有下划线，以特定单词结尾”的复杂模式时，fnmatch就力不从心了。这时，你有两个选择：

  1. 升级到正则表达式 (re模块)：学习正则语法，它功能最强大。例如，匹配上述模式：r‘^\d.*_.*specific_word$‘。
  2. 使用fnmatch.translate()：作为过渡。你可以先用直观的通配符写出近似模式，再用translate转为正则表达式进行微调。
    simple_pattern = ‘data_*.csv‘ regex_pattern = fnmatch.translate(simple_pattern) # regex_pattern 会是 ‘(?s:data_.*\.csv)\Z‘ # 如果你想确保‘data_‘后面至少有一个字符，可以修改正则： import re better_regex = re.compile(r‘^data_.+\.csv$‘) # 使用+（至少一个）代替*（零个或多个）

掌握thefuzz（或rapidfuzz）和fnmatch，意味着你在处理字符串匹配问题时，拥有了从“模糊相似”到“精确模式”的完整武器谱。它们用极低的代码复杂度，解决了日常开发中一大类高频出现的痛点。下次再遇到令人头疼的匹配任务时，别再埋头苦写复杂的正则了，先想想这两个“神器”能否让你事半功倍。

http://www.jsqmd.com/news/824918/

相关文章：

  • 易服客工作室：谷歌算法更新与排名因素综合指南
  • 如何让GPT-3开口说话？揭秘微调技巧，打造你的专属AI模型！
  • 2026 最稳高薪副业 + 主业赛道，网络安全零基础系统学习大纲，实战项目 + 证书考取 + 求职面试一站式教程
  • Matlab S-Function Builder避坑指南：从‘pointer value’报错到成功生成DSP代码
  • ROS2实战：在Ubuntu 22.04上配置思岚A2激光雷达与Humble环境
  • OpenCore Legacy Patcher终极指南：让老Mac焕发新生的4个简单步骤
  • “这张图根本不像我们设计！”——建筑效果图AI化落地失败的7个隐藏雷区，及住建部最新BIM-AI协同验收标准解读
  • VR-Reversal终极指南：免费将3D VR视频转换为2D播放的完整方案
  • NGINX现严重堆缓冲区溢出漏洞，远程攻击者可执行代码，附受影响版本及修复方法
  • 二进制相移键控（BPSK）系统建模及误码率 - 信噪比（BER-SNR）性能基准测试研究（Matlab代码实现）
  • 明日方舟素材库：从游戏资产到创意引擎的技术解密
  • 2026年照片去水印免费app推荐｜无广告手机去水印软件哪款好用？6款主流工具实测对比
  • Potrace实战指南：5分钟掌握位图转矢量的开源神器
  • 别再手动抠图了！用MATLAB实现高光谱ROI自动提取与批量校正（附完整代码）
  • 官宣！网络安全法正式实施，人才缺口 327 万，这 5 类人直接站上风口，年薪百万不是梦
  • 别再乱用电容了！从MCU电源脚到EMC，手把手教你选对电容（附选型速查表）
  • NotebookLM历史研究实战指南：5个被90%学者忽略的文献溯源技巧
  • 使用Python快速接入Taotoken实现多模型调用，只需三步配置
  • 3步轻松解锁QQ音乐加密文件：macOS用户必备的解码工具
  • 从Dev到MLOps仅需17分钟，DeepSeek大模型ArgoCD一键部署全链路，手慢无！
  • 人类不擅长做出复杂的决策。人工智能可以指出这些错误。
  • 2026年Q2钢化玻璃风斑检测仪厂家排行及选型参考：电池隔板测厚仪/红外薄膜测厚仪/钢化玻璃在线应力仪/钢化玻璃自爆缺陷检测仪/选择指南 - 优质品牌商家
  • STM32CubeMX新手避坑指南：GPIO配置完代码不工作？先检查这3个地方（以STM32F103为例）
  • 气象博士生必看：用NotebookLM 7天完成开题报告+数据质控+图表生成（含GFS模式输出自动解析模块）
  • 3分钟掌握B站视频下载神器BilibiliDown：跨平台免费开源下载工具
  • 本地视频如何去水印？5款2026年最好用的去水印软件深度测评，自动识别水印5秒出结果
  • 7-Zip ZS终极指南：六大压缩引擎让你的文件管理效率飙升
  • 2026年免费一键去图片水印app排行榜｜手机去水印工具怎么选？最新推荐对比
  • 中山宝妈学历提升避坑全攻略：成考、国开、自考选择、正规机构与口碑推荐 - 优选机构推荐
  • 特朗普访华CEO天团背后的思想灯塔：万亿市值巨头们的思想密码与商业哲学