AI工具搭建自动化视频生成敏感词过滤

# AI工具搭建自动化视频生成敏感词过滤：一个老程序员的手记

1，他是什么

几年前第一次接触视频处理，发现一个挺有意思的现象——算法的“眼睛”跟人眼差距很大。一个视频里包含两种信息：能直接看到的画面，和藏在画面背后的元数据。敏感词过滤，本质上是在这些信息里做一道保险丝，把不该出现的东西截断在服务器这个环节。

有人可能会想，敏感词过滤不就是正则匹配嘛。视频场景没那么简单。一个视频可能有配音、字幕、画面里的文字、甚至是背景里的广告牌。这些信息要么以图像形式存在，要么是语音流。今年某个项目里遇到一个案例：视频里有一段自然风光，镜头扫过远处一个标语，字幕里完全没有提，但画面处理不当，直接被平台隐了。敏感词过滤在这个语境下，更像是一个多模态的守卫——你要同时处理语音、文本、图像这三种数据流，而且它们可能互相印证，也可能各自为战。

2，他能做什么

传统做法很简单：给视频加字幕，然后扫一遍字幕文件。但对现在的内容平台来说远远不够。举个例子，一个美妆博主在讲护肤流程，背景放了一首版权音乐，歌词里有几句打擦边球的话。字幕是没问题的，但背景音被识别出来，视频就要被限流。敏感词过滤在这里做的，是把音频先转成文字，再跟字幕做交叉验证。

更有意思的场景是处理直播回放。直播中可能有人临时插话，或者画面突然切到不合规的内容。自动化的敏感词过滤能实时或准实时地把这些片段标记出来，甚至直接剪掉。前阵子处理一个知识分享类视频，主讲人讲得投入，桌面上摊开一本书，封面设计有点那个意思。敏感词过滤通过图像识别发现这个封面，直接预警了。如果靠人工审核，这条视频可能要等两小时后才能发现，那时候流量早就跑偏了。

还有一类容易被忽视的：视频里的水印和嵌入文字。很多创作者会在视频里加自己的logo，但偶尔这个logo的图案或者位置会跟平台规则冲突。敏感词过滤能干的就是把这些元素提取出来，做特征匹配。这个功能在批量处理大量素材时特别有用，能过滤掉那些“看着没问题，但细究有风险”的素材。

3，怎么使用

实现起来比想象中复杂一点，但现代工具已经把门槛降得很低了。拿python举例，最常用的链路是三步走：语音转文字、光学字符识别(OCR)、文本匹配。

语音转文字这块，OpenAI的Whisper是个不错的选择。我一般在服务器上用它的large-v3模型，精度不错，也能处理中文带方言的情况。代码量不大：

importwhisper model=whisper.load_model("large-v3")result=model.transcribe("video.mp4")# result["text"] 就是所有语音的文字内容

OCR方面，paddleocr或者tesseract都能用。paddleocr对中文支持更好，而且能直接处理视频帧。可以每隔几秒抽一帧，然后跑OCR。这里要注意的是，视频帧太多会慢，太少会漏。实践下来3秒一帧是比较平衡的选择。

文本匹配这块，很多人一上来就搞复杂模型。其实大部分场景，一份精心维护的关键词列表加模糊匹配就够了。我就是用ac自动机（Aho-Corasick自动机）做的匹配，速度快，内存占用少。配合一个concurrent.futures做并行处理，在一台8核的机器上，处理一个10分钟的视频大概在30秒到1分钟之间。

还有一个实用技巧：处理前先把视频切成音频流和视频帧流，并行处理，最后再把结果合并。这样能利用多核优势，减少总处理时间。

4，最佳实践

踩过很多坑后，总结几条比较实在的经验。

第一条，千万不要只依赖一种模态。去年有个客户给我看他们的系统，只做了字幕匹配，结果视频里有个人的手机屏幕亮着，上面有敏感短文本，字幕里一句话没提，视频就发出去了。现在我们的处理流程是：语音转文字、画面OCR、字幕文字，三个结果各自跑一次匹配，最后取并集。虽然有时候会误报（比如一些技术术语被误判），但宁可误报也不要漏报。

第二条，要设计好“软过滤”和“硬过滤”的机制。硬过滤是当天就要拦截的，比如明显的违规内容。软过滤则是“建议复查”的级别，比如用户提到了某个关联词，或者画面里出现了敏感图案，可以先标记但不立刻处理。这点在直播场景下特别重要，因为直播的回放审核需要快速出结果，但又不能太糙。我们的方案是：打标视频放到一个“待确认”队列，让人工审核员二次确认。实践表明，90%的软过滤标记其实都是安全的，但剩下那10%确实不该漏。

第三条，注意敏感词列表的动态更新。规矩是变的，今天能用的词明天可能就违规了。我们维护了一个git仓库放敏感词列表，每次更新都走审批流程。配合一个简单的定时任务，每天凌晨拉最新版本，然后重新跑一遍全量视频库。这个习惯救过我们好几次，特别是节假日或者重大活动前，规则经常会有临时调整。

第四条，做测试的时候别只拿干净视频测。要主动制造“边界案例”：比如在视频里播放一段敏感音频但音量极低、在画面角落放一小段敏感文字、或者把敏感词拆成两段分布在前后帧里。这些边缘情况才是真正考验过滤系统能力的试金石。

5，和同类技术对比

市面上做这块的方案不少，各有适用场景。

最简单粗暴的是用云服务商的接口，比如阿里云的视频内容审核或者腾讯的天御。好处是部署快，几行代码就能调通。但缺点也很明显：首先贵，尤其是大量视频或者高并发场景下，成本翻着倍涨。其次不够灵活，想自定义敏感词列表或者调整过滤阈值都比较困难。我曾在一个项目中试过阿里云的图片审核接口，返回的结果很“黑盒”——你只知道“疑似违规”，但到底是什么类别的违规完全不知道，查日志也看不出来。

开源方案里比较成熟的是Sightengine(开源版)和OpenCV+自建模型组合。Sightengine对常见违规类型的识别做得不错，特别是暴力和色情内容，准确率在行业里算第一梯队。但它的中文文本OCR能力一般，遇到手写体或者艺术字体就经常识别错。

还有一类是基于大语言模型的方案。比如把视频帧转换成描述文字，然后喂给GPT-4或者Claude来判断。这个方法其实很聪明，因为大模型对语义的理解比规则匹配强得多，能处理一些“擦边”的问题。但问题在于：太慢，成本也高。我试过用GPT-4 ocr加描述，一个5分钟的视频光API调用费就要两块钱，要是每天处理几千个视频，这笔账算不过来。

我现在的组合是：Whisper做语音转文字（免费，准确率高）、PaddleOCR做画面文字识别（对中文支持好）、ac自动机做匹配（轻量且可自定义）。用三路并行的方式处理，兼顾速度和准确性。唯一的不足是ac自动机不太擅长处理语义模糊的情况，比如“我真的是在讨论编程语言”这种语境。所以对于高规格的视频，我会加一道大模型的软过滤，只对标记为“存疑”的片段做人工审核。这样成本控制在可接受范围内，效果也满意。

总的来说，选什么技术取决于你的视频量级、预算和精度要求。如果只是个人小项目，用云服务商的免费额度就够了；如果是平台级应用，还是需要自建一套灵活的过滤系统。