抖音豆包九宫格验证码识别
一、简介
上图是抖音九宫格验证码图片的样例图片。这款验证码确实有很大的难度，有一下几个特点：
1、首先是图片种类非常多。
2、其次图片都是由AI随机生成，每一张图片都不一样。
3、还需要结合语义进行理解
二、识别准备
经过我们几个月的研究，终于完成了这款识别模型的开发，正确率能达到90%以上，并且我们还会持续更新，争取达到100%的正确率。
识别这个图片需要上传两个东西：
1、九宫格原图
目前不支持截图，原图是通过图片链接下载的图片，是这种直接拼接的图片，不像页面显示的有变色间隔。
2、点击描述文本
描述文本页面上显示的是什么，就需要传什么。不能修改，不能自定义描述，也不能去掉原本的标点符号。
三、识别代码
下面是使用python写的识别样例代码
import base64 import requests import datetime from io import BytesIO from PIL import Image, ImageDraw t1 = datetime.datetime.now() #PIL图片保存为base64编码 def PIL_base64(img, coding='utf-8'): img_format = img.format if img_format == None: img_format = 'JPEG' format_str = 'JPEG' if 'png' == img_format.lower(): format_str = 'PNG' if 'gif' == img_format.lower(): format_str = 'gif' if img.mode == "P": img = img.convert('RGB') if img.mode == "RGBA": format_str = 'PNG' img_format = 'PNG' output_buffer = BytesIO() # img.save(output_buffer, format=format_str) img.save(output_buffer, quality=100, format=format_str) byte_data = output_buffer.getvalue() base64_str = 'data:image/' + img_format.lower() + ';base64,' + base64.b64encode(byte_data).decode(coding) # base64_str = base64.b64encode(byte_data).decode(coding) return base64_str # 加载图片 img1 = Image.open(r'E:\Python\lixin_project\OpenAPI接口测试\test_img\86.jpg') # 图片转base64 img1_base64 = PIL_base64(img1) 得塔云地址 http://bq1gpmr8.xiaomy.net（电信） http://220.167.181.200:9009（移动、电信、联通） 根据不同网络选择不同接口 # 验证码识别接口 url = "http://bq1gpmr8.xiaomy.net/openapi/verify_code_identify/" data = { # 用户的key "key":"2zLW3AnTbYJaEV4ofH3G", # 验证码类型 "verify_idf_id":"86", # 样例图片 "img_base64":img1_base64, # 点击的物品名称 "words": "有哪些生态元素可以在森林中看到？", } header = {"Content-Type": "application/json"} # 发送请求调用接口 response = requests.post(url=url, json=data, headers=header) point_list = eval(response.json()['data']['res_str']) # 获取响应数据，识别结果 print(response.text) print("耗时：", datetime.datetime.now() - t1) img1 = img1.convert("RGB") draw = ImageDraw.Draw(img1) point_list = [(x[0] - 5, x[1] - 5, x[0] + 5, x[1] + 5) for x in point_list] for point in point_list: draw.ellipse(point, fill=(255, 0, 0)) # 显示识别后标记的点击点 img1.show()运行上面代码，用红色圆点标注出了需要点击的图片，如下图
想了解更多验证码识别请访问：http://bq1gpmr8.xiaomy.net/tool/verifyCodeHomePage2/?_=1771917979926