生成文本跨平台检测对齐实验：网页端服务接入的踩坑记录

上周赶会议截稿日的前三天，我手里还差4万条跨平台对齐的生成文本检测标注样本。导师的要求很明确，每条样本必须同时经过至少3款主流商用中文AI检测服务的打分，输出的生成概率偏差在0.15以内的才算有效标注，用来做我们自研小样本检测模型的校准集。之前的数据集里缺了某款主打长学术文本检测的服务的输出，我一开始打算直接找对应的网页版来手动刷，结果搜出来的结果几乎全是套壳的第三方站点，耗了大半天连正经入口都没摸到。

初始需求：跨平台检测输出对齐的数据集构建难题

先说结论，要做跨商用检测模型的对齐校准，你不可能直接拿到别家模型的权重和训练集，最合理的低成本方案就是通过公开的网页端服务提交相同文本，采集返回的结构化结果做标注。我们的Baseline模型是基于DeBERTa-v3-base在10万条混合生成文本上微调的，用实验室的单张3090 24G跑batch size 16，每轮epoch要跑47分钟，出来的AUC在我们的测试集上只有0.82，离会议要求的0.9还差不少。我一开始还抱着侥幸心理，觉得只要把数据集再扩充一倍，效果就能冲上去，直到导师把我之前的对齐样本集打回来，说里面至少三分之一的样本标注是无效的。

一开始我想当然的觉得，随便找几个公开网页提交文本，把结果爬下来就行，结果第一天就踩了大坑。我当时用Python 3.9配requests 2.31.0写了个简单的批量提交脚本，跑了2000条样本，后来拉出来所有输出的结果做统计，发现生成概率的分布完全是均匀分布，和我们之前测的同类型商用模型的偏态分布完全不一样。后来才反应过来我进的是个套壳的第三方站，根本没对接目标模型，随便瞎返回的数值，相当于我白跑了三个小时，所有样本全废了。

我当时写的第一个错误的请求代码非常简陋，连最基础的请求头伪装都没做，直接裸奔发POST请求：

import requests text = "这里是待检测的长学术文本，大概1500字左右" res = requests.post("https://xxx.xxx/api/check", json={"content":text}) print(res.json()["score"])

本来我想直接换个站继续跑，结果翻了搜索结果前10页，出来的类似入口要么是跳转到第三方付费平台的，要么是提交完文本直接跳广告的，根本找不到目标服务的原生网页端。这时候我才反应过来，很多这类面向C端的AI检测服务，根本不会把自己的入口直接摆在搜索结果最前面，反而一堆仿冒站点占了前排，普通人找入口几乎不可能不踩坑。

网页端AI检测服务的通用架构拆解

折腾到半夜我干脆不找入口了，直接扒之前存过的一篇去年顶会论文里的标注数据集里留的目标服务的接口特征，顺着这个反向推这类网页端服务的通用部署逻辑，反而比一个个点网页高效得多。从底层看，所有这类商用检测服务的网页端，本质上都是三层架构，完全没有什么藏得特别深的所谓“秘密入口”。

第一层是前端交互层，做的事情很简单：拿到用户提交的文本，先做分片预处理，把超过模型最大上下文窗口的文本切成固定长度的块，之后生成一个单次有效的动态token，把文本和token一起传给后端。第二层是鉴权网关层，这层一般部署在云厂商的边缘CDN节点上，核心作用是反爬，校验设备指纹、IP归属、动态token的有效性，同时扛住DDOS攻击，把非法请求直接拦在推理集群外面。第三层是推理服务层，把预处理好的文本送入已经部署好的检测模型实例，返回结构化的结果，包括AI生成概率、可疑片段标记、生成来源溯源这些字段。

所有正经的官方网页端的请求流，都会有几个非常统一的特征，完全可以用来区分仿冒的套壳站。首先，所有POST请求的请求头里一定会带一个有效期不超过10分钟的自定义鉴权字段，比如有的服务叫X-Auth-Token，有的叫X-Request-Sign，是通过前端的JS基于当前时间戳和设备ID生成的，不存在不带任何鉴权字段直接把文本往接口扔的情况。其次，推理返回的AI生成概率不会是保留1位小数的随机数，大多是保留4位有效数字的浮点型，分布符合训练集的预测输出的统计特征。最后，正经的官方服务的响应头里的服务器标识，一定不会是第三方小公司的静态服务器，大多是主流云厂商的云函数或者容器服务标识。

我后来把之前踩坑遇到的仿冒站的返回数据拉出来统计，发现他们的生成概率全是保留2位小数的随机数，接口甚至连鉴权都没做，你随便往请求体里塞空字符串都能返回一个0.5左右的分数，完全就是个用来骗用户充会员的壳子，根本没有实际部署检测模型。说句不好听的，这种站甚至都不用加载任何模型，随便写个随机数生成器就能跑，成本不到100块钱。

伪造入口排查与接口调试的实测过程

基于刚才拆解的架构特征，我没再顺着搜索结果一个个点网页，而是直接从ICP备案系统里查目标服务的运营主体下所有备案的域名，然后挨个排查域名下的接口路径。等等我说反了，我一开始顺手从公众号主体关联的域名列表里查的，后来才发现漏了两个边缘域名，调整了查询逻辑之后，前后花了大概40分钟就定位到了他们的官方网页端对应的网关入口，根本不用找什么别人发的所谓的“官方入口链接”。

这里踩了第二个坑，我一开始没看懂他们前端JS里的动态签名生成逻辑，直接用之前写的脚本批量重放请求，连续发了12次之后，直接触发了他们网关层的频率限制，实验室的公网IP被封了整整2小时，连知网和学校的论文库都登不上，我只能跑到隔壁实验室借了台机器继续调试。后来我花了点时间把他们前端的JS里的签名生成逻辑抠出来，写成了Python的辅助函数，每次发请求之前动态生成符合规则的签名，才绕开了基础的反爬校验。调整后的核心请求逻辑如下：

import time import hashlib def generate_sign(text: str, timestamp: int) -> str: # 抠出来的前端签名生成逻辑，salt是从静态JS文件里拿到的固定字符串 raw_str = f"{text}_{timestamp}_a1b2c3d4e5f6" return hashlib.md5(raw_str.encode("utf-8")).hexdigest() timestamp = int(time.time()) sign = generate_sign("待检测文本内容", timestamp) headers = { "X-Request-Sign": sign, "X-Timestamp": str(timestamp), "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) AppleWebKit/537.36" }

调试的时候我还发现，他们的网页端网关还带了Cloudflare的JS校验，没有真实浏览器环境的话，直接用requests发请求会直接返回403 Forbidden的报错，返回内容是一段完全看不懂的混淆JS。我一开始想过用selenium模拟浏览器操作，但是跑1万条样本的话速度太慢，估计要跑两三天，后来换了undetected-chromedriver的无头模式，把页面加载的等待时间调到1.5秒，单条样本的提交速度能控制在3秒以内，完全满足我数据集构建的效率要求。中间我顺便试过六七款别的同类型网页工具，有个开源模型做的站，长文本超过1024token就直接截断，得分完全不准；有个商用站，提交超过500字的样本直接弹付费弹窗，连免费试用的机会都不给；有个站加载到一半直接崩溃，连提交按钮都点不到；有个站的检测逻辑完全看不懂，随便写几个乱码都能返回99%的AI生成概率。

前后折腾了大半天，我终于把4万条样本的对齐标注跑完了，统计出来的跨模型输出的皮尔逊相关系数达到了0.87，完全符合导师的要求。回头想想，我一开始花那么多时间去各种搜索引擎里找所谓的入口完全是浪费时间，只要你把底层的服务架构拆解清楚，根本不需要靠别人给你发什么链接，自己顺着域名备案信息和接口特征定位，效率要高得多。我到现在还存疑的一个点是，我分别用两个不同城市的代理IP提交同一条1000字的纯人工写的文本，返回的AI生成概率差了0.07左右，我不知道这是他们做了IP段对应的动态阈值调整，还是推理集群的不同节点上部署的模型版本不一致，这个细节我后续还得抽时间做几组对照实验才能验证清楚。

后续待验证的优化方向

这次的实验跑通之后，我发现其实根本没必要找那么多分散的网页端入口来做跨模型对齐，完全可以把几个主流商用检测服务的鉴权逻辑都抠出来，统一封装成一个异步请求的脚本，直接批量跑十万级别的样本，不用手动在网页里点来点去。我现在正在写这个封装的工具的基础版本，目前已经对接了3个主流的检测服务，后续再加2个就能覆盖我们实验需要的所有校准数据。

我还发现很多面向C端的网页端AI检测服务，为了降低推理成本，根本不会把整段文本送入大模型做推理，只会抽前200个token和后200个token做特征提取，直接输出得分，这也是为什么很多人拿长文本去检测的时候，结果完全不准的核心原因。我之前测过，把同一段文本的前300字完全换成人工写的内容，后面700字全是生成的，不少网页端服务直接会返回人工写的占比90%以上的结果，这个现象我后续也打算做一个系统性的测试，整理成数据集放到开源平台上。

折腾完这一切的时候已经是提交论文前的第二天凌晨，我盯着屏幕上刚生成的对齐数据集的统计报告，突然觉得之前纠结“入口在哪”的自己特别蠢——做技术的遇到服务找不到，第一反应不该是去到处找别人要链接，而是顺着公开的技术特征反向拆解，大部分绕不开的卡点本质上都是你没摸到最底层的运行逻辑。现在我还差最后一组对比实验的结果，要是这次能中目标会议，我打算把整个跨模型对齐校准的方案整理成开源项目放出去，省得后面做同方向的师弟师妹再像我一样踩这么多没必要的坑。