当前位置：首页 > news >正文

TFT 截图识别引擎（一）：用 OpenCV 迈出“看懂”阵容的第一步

news 2026/5/6 3:26:14

前面我们搭建了数据采集和阵容分析两大模块，但每次分析都要手动输入英雄名单？太麻烦了。这一篇，我们开始挑战更有趣的事情——让电脑直接“看”截图，自动识别出上面的英雄、星级和装备。这不仅仅是一个图像识别项目，更是一扇通往计算机视觉世界的实践之门。

一、从手动输入到自动识别：为什么需要截图识别？

在之前的文章里，我用tft_data_manager.py拉取赛季数据，用tft_converter.py把英雄列表变成阵容分析报告。但这一切都有一个尴尬的前提：你得手动告诉程序“我有哪些英雄”。即使是最方便的文本模式，也要老老实实敲一遍英文名。

如果我刚刚打完一局游戏，兴奋地想复盘，难道还要对着结算界面一个一个抄名字吗？最理想的体验应该是：

截图 → 扔给程序 → 一秒出分析报告。

这听起来有点像魔法，但把它拆开看，其实就是几个图像处理任务的组合：找到英雄头像的位置、识别出是哪个英雄、数星星、看装备。用 Python 和 OpenCV，这些都可以一步步实现。

于是，我写了一个tft_screen_capture.py，专门负责“看懂”TFT 截图。由于整个识别流程较长，我会分成两篇来写：本篇聚焦于识别之前的准备工作——包括模板素材的加载、透明通道的坑，以及如何让后续匹配更精准。下一篇再详解六边形检测、英雄匹配与星级装备识别。

二、我们要处理的截图长什么样？

云顶之弈截图识别主要分为四种场景，脚本可自动检测：

棋盘模式(board)：展示4×7六边形蜂窝棋盘，每个英雄单位带有彩色六边形边框
阵容模式(lineup)：结算界面中英雄水平排列，无边框装饰
全局模式(global)：羁绊概览界面，玩家头像呈多行排列
对战模式(duel)：战绩回放界面，采用上下双棋盘布局

识别策略因模式而异：

棋盘模式需检测彩色六边形边框定位英雄位置（技术难度最高）
阵容模式和全局模式识别相对简单
系统默认优先执行六边形检测流程，失败后自动切换其他策略

所有模式均基于同一核心技术实现：通过计算机视觉中的模板匹配技术(Template Matching)，将截图中的英雄头像与预设标准模板进行比对，找出相似度最高的匹配结果。

三、识别之前，先准备好“标准答案”——模板加载

模板匹配需要一个“题库”，也就是每个英雄的标准头像图片。这些图片可以从前两篇提到的 DDragon 或 CommunityDragon 下载（我用了一个配套的tft_fetch_assets.py脚本自动拉取并裁剪）。所有模板统一存放在./tft_assets/champions/和./tft_assets/items/目录下，命名规则是英雄的short_id（如Aatrox.png）。

为了让模板匹配快速且稳定，我做了几个关键设定：

TEMPLATE_SIZE = 64 # 所有模板统一缩放到 64×64 像素 MATCH_THRESHOLD = 0.45 # 英雄匹配相似度阈值 ITEM_THRESHOLD = 0.45 # 装备匹配相似度阈值 INNER_MARGIN = 0.08 # 裁剪时去除六边形边框的比例

统一尺寸：不管是正方形头像还是长方形原画，全部缩放到 64×64，保证匹配时有相同的尺度。
相似度阈值：经过大量实际截图测试，我把英雄匹配阈值设定在 0.45。同一英雄的匹配分数通常在 0.55~0.85 之间（例如 Volibear 0.632、Braum 0.692），而不同英雄互相混淆的概率低于 5%。0.45 是一个既能找出正确英雄、又不会产生太多误报的平衡点。
内边距裁剪：为了避免六边形彩色边框干扰匹配，切割英雄头像区域时，会在边缘裁掉 8% 的边框部分，让匹配算法更聚焦于头像内容。

四、模板加载的真正挑战：透明通道

模板图片采用 PNG 格式，多数带有透明背景。表面上看，直接使用cv2.imread(path)读取为彩色图像即可，毕竟匹配时最终会转为灰度图。但在实际测试中，采用默认方式读取后，匹配分数异常偏低，甚至出现全负数的情况。

问题本质在于：当 OpenCV 的imread(IMREAD_COLOR)遇到 RGBA 四通道 PNG 时，会直接丢弃 Alpha（透明）通道。此时，RGB 三通道在原本透明的区域会被填充为(0,0,0)纯黑色。而游戏截图中的英雄头像区域背景通常是灰度值在 100~130 之间的灰色棋盘格。将纯黑背景的模板与灰色背景的截图进行 NCC（归一化互相关）匹配时，减去各自均值后的方向完全相反，导致相关值全部为负。

解决方案：将透明图像合成到中性灰背景

为此，我专门编写了一个内部辅助函数来处理此类透明图像：

def _load_with_alpha(path: str) -> np.ndarray: img = cv2.imread(path, cv2.IMREAD_UNCHANGED) # 保留 Alpha 通道 if img.shape[2] == 4: b, g, r, a = cv2.split(img) alpha = a.astype(np.float32) / 255.0 bg = np.full_like(b, 128, dtype=np.float32) # 中性灰 128 def blend(ch): return (ch.astype(np.float32) * alpha + bg * (1 - alpha)).astype(np.uint8) return cv2.merge([blend(b), blend(g), blend(r)]) return img

代码逻辑说明：

使用IMREAD_UNCHANGED模式读取图像，完整保留 RGBA 四个通道信息
图像处理流程：
- 将 Alpha 通道归一化为 0~1 范围的浮点值，作为透明度参数
- 创建纯灰色背景（所有像素值为 128）
- 对每个色彩通道执行合成运算：前景色 × alpha + 背景色 × (1 - alpha)
- 最终输出不含 Alpha 通道的 BGR 格式图像
选择 128 作为背景色的原因：
- 这是标准的中性灰度值（0 为纯黑，255 为纯白）
- 与游戏内棋盘背景亮度接近
- 确保模板与截图的亮度分布一致，使 NCC 匹配分数恢复正常

调试心得：在透明通道问题上耗费了整个下午。起初以为是阈值设置问题，多次调整参数均无效果；直到用cv2.imshow显示模板图片时，才发现背景全黑的问题。查阅 OpenCV 相关 issue 后终于明白：图像处理中每个像素通道都可能暗藏玄机，这个教训让我深刻理解了细节的重要性

五、让匹配更快：模板缓存与直方图预计算

每次匹配都要读取几十个模板文件、缩放、转灰度？那样太慢了。我采用了和tft_converter.py中数据库加载一样的“懒加载缓存”策略：

_champ_templates_gray = {} _champ_templates_color = {} _champ_templates_hist = {} _item_templates_gray = {} _templates_loaded = False def _load_templates(): global _templates_loaded if _templates_loaded: return # ... 加载所有模板，存入全局字典 _templates_loaded = True

首次调用时，脚本会扫描champions/和items/目录，对每张模板图片进行处理（包括合成灰色背景、调整尺寸和转为灰度图），并将结果存入字典缓存。后续调用时直接返回缓存数据，避免重复磁盘操作。

进一步优化方案是预先计算颜色直方图：

_champ_templates_hist[stem] = _compute_hist(c64)

结合后续的匹配策略（颜色直方图粗筛 + NCC 精匹配），预先算好每个模板的颜色直方图，可以避免在匹配循环里重复计算，大幅提升速度。

六、彩色六边形边框的探测基础

虽然六边形检测的具体细节要留到下一篇，但我已经在配置中准备好了它的颜色范围：

BORDER_RANGES = [ # 青色 (cost 1) (np.array([ 85, 100, 80]), np.array([103, 255, 255])), # 紫色 (cost 2) (np.array([128, 80, 80]), np.array([168, 255, 255])), # 金色 (cost 3) (np.array([ 16, 110, 130]), np.array([ 40, 255, 255])), # 蓝色 (cost 4+) (np.array([ 98, 80, 80]), np.array([130, 255, 255])), ]

云顶棋盘上，不同费用的英雄六边形边框颜色不同：1 费青色，2 费紫色，3 费金色，4 费以上蓝色。通过 HSV 色彩空间的范围过滤，我们可以把棋盘上的六边形边框精确地找出来，再通过轮廓分析得到每个英雄格子的位置。这个思路本质上就是在做“颜色分割 + 形状检测”。