《大话文渊慧典》:外三篇-不是我们不行,是赛道不同——中国古籍OCR的“非对称作战”优势
——小菜:“大胖老师,我最近看了一些国外的古籍OCR论文,越看越焦虑。人家的模型动不动就几亿参数,训练数据几百万张图,评测基准一个比一个豪华。再看咱们,模型小、数据少、评测靠王大姐肉眼打分。这差距,是不是说明咱们不行?”
——二黑推了推眼镜,从抽屉里掏出一张对比表:“小菜,你这种焦虑,我三年前就有过。后来我想明白了一件事——你焦虑,是因为你在用别人的赛道规则衡量自己的成绩。”
——大胖老师端起保温杯,慢悠悠地接过话:“二黑说得对。人家跑的是百米短跑,你跑的是越野马拉松。你用百米成绩去比马拉松选手的配速,当然觉得自己不行。但你让他来跑你的赛道试试?不摔跟头算我输。今天咱们就讲讲,为什么说中国古籍OCR不是不行,是赛道不同。以及,我们的‘非对称作战’优势到底在哪里。”
一、赛道一:版式复杂度——从“一马平川”到“蜀道难”
大胖老师在白板上画了两条跑道。第一条画得笔直平坦,标注“英文/现代中文OCR”。第二条画得弯弯绕绕,标注“中文古籍OCR”。
“先说最直观的:版式。”他指着第一条跑道,“英文古籍和现代中文文档,版式相对规范。英文基本是单栏横排,现代中文也差不多。OCR模型面对的是一个相对规整的世界。这就是为什么国外的OCR评测基准大多是‘干净文档、标准字体、统一排版’。”
“古籍呢?”二黑调出一页明代坊刻本投在屏幕上,“你看看这页:正文竖排,十二列,每列字数不等;中间夹着双行小注,字体只有正文一半大;天头有眉批,字迹潦草;地脚有藏印,红色模糊;左下角还有虫蛀,缺了三个半字;栏线断断续续,跟虚线的斑马线似的。你让只见过横排印刷体的模型来处理这个?它连从哪儿下嘴都不知道。”
“这就是赛道差异。”大胖老师敲着白板,“国外的OCR研究,解决的是‘一马平川’上的奔跑速度问题——怎么更快、更准。我们要解决的,是‘蜀道难’上的通行问题——怎么先让车能开过去,不被悬崖和落石干掉。难度不在一个量级。他们追求的是百米成绩提升0.01秒,我们追求的是越野赛能活着跑完全程。所以不能拿他们的精度指标直接来套我们的场景。”
二、赛道二:字库规模——从“26个字母”到“三万汉字”
大胖老师又在白板上写了两个数字:26和35000。
“英文OCR,核心任务是识别26个字母加一些标点符号。大小写加起来52个,算上数字和特殊符号,一百多个字符类别。模型可以做得非常深、非常精细,因为分类任务很轻。”
“中文古籍OCR呢?”二黑接过马克笔,在35000上画了个圈,“我们目前支持3.5万个汉字。这是什么概念?是英文分类数的三百多倍。而且这些字之间长得还特别像——‘己’和‘已’差一个笔画,‘曰’和‘日’差一个像素,‘人’和‘入’是镜像关系。更别提避讳缺笔字、异体字、俗字——一个‘国’字能有几十种写法。模型不仅要记住这些字长什么样,还要在它们长得几乎一样的时候分清楚谁是谁。”
“所以,”大胖老师总结,“英文OCR可以用大模型、大数据、大算力去堆,因为分类空间小,堆了有效。我们的分类空间巨大,堆同样的算力,效果会被稀释。这就要求我们必须走轻量化、高效率的路线——用小模型办大事。不是我们不想用大模型,是我们的赛道天然需要更聪明的算法,而不仅仅是更暴力的算力。”
三、赛道三:用户与场景——从“极客玩具”到“王大姐的生产工具”
小菜举手:“那国外的古籍OCR项目,他们的用户是谁?”
二黑回答:“主要是学者和图书馆专业人员。哈佛燕京的线上系统,用户大多是东亚研究的研究生和教授。欧洲的数字人文项目,用户是数字人文学者。他们对技术有基本了解,能容忍一定的操作复杂度。说白了,用户画像是一个相对高知、高技术耐受性的群体。”
“我们的用户呢?”大胖老师指了指墙上王大姐的照片,“全国两千八百多个县,每个县图书馆的王大姐。平均年龄四十七,计算机水平‘会开关机会打字’,电脑是五年前的办公机,内存4G,装的还是Win7。她们不懂什么叫命令行,不知道什么是GPU,也没时间参加培训。她们只有一个诉求:拖进去,认出来,导出去。就这么简单。”
“这是完全不同的使用场景。”二黑补充,“国外做古籍OCR,可以假设用户有一定的技术背景和使用耐心。我们做古籍OCR,必须假设用户是王大姐——零基础、零耐心、零预算。这意味着我们的赛道不仅是技术赛道,还是用户体验赛道。我们的系统必须做到‘傻’到极致——不需要命令行、不需要配置、不需要联网、不需要GPU。这种场景倒逼出来的工程能力,是那些高高在上的学术项目永远学不会的。”
四、我们的“非对称作战”优势:三个碾压级的底气
讲完赛道差异,大胖老师话锋一转:“但是,我们也有三个让国外同行羡慕到流口水的优势。这三个优势,就是我们‘非对称作战’的底气。”
优势一:数据规模碾压
“中国大陆现存古籍三千万册。”大胖老师写出这个数字,“哈佛燕京中文古籍六十万册,欧洲加起来可能还不到一百万册。我们一个省的馆藏量,可能就超过整个北美的中文古籍总量。数据源天然是我们的。虽然目前标注数据还不够多,但原始数据的体量摆在那里。只要我们把标注工具和众包机制做好,在数据积累上超越全球只是时间问题。”
优势二:场景驱动碾压
“从国图到县馆,从学者到初中生,从家谱爱好者到地方文史工作者——中国对古籍数字化的需求是全链条、全民的。欧洲一个数字人文项目可能只需要满足几百个学者,我们要满足的是几千万潜在用户。这种海量场景的倒逼,会让我们做出更实用、更普惠、更接地气的技术。不是在实验室里刷榜,而是在阅览室里解决问题。”
优势三:开源社区碾压
“PaddleOCR的GitHub Star数、社区活跃度、模型迭代速度,已经是全球领先水平。”二黑打开数据,“中国开源社区有一种独特的活力——民间开发者愿意为‘没用但有趣’的事情花时间。那个用PaddleOCR做家谱识别的深圳程序员,那个用Tesseract硬怼竖排的大学新生,那些在‘吾与点’平台上义务校对的大爷大妈——这种自下而上的热情,是比算力和经费更宝贵的资源。国外的古籍OCR项目大多靠经费驱动,经费断了项目就停。我们靠社区驱动,只要还有一个人在GitHub上提Issue,项目就还活着。”
五、一张表说清楚:为什么不能简单比
大胖老师画了一张表,把“对称比较”和“非对称作战”放在一起:
| 维度 | 对称比较(跟欧美日拼) | 非对称作战(发挥我们优势) |
|---|---|---|
| 资金 | 他们砸钱,我们拼不过 | 我们开源免费,成本碾压 |
| 硬件 | 他们GPU集群,我们老爷机 | 我们纯CPU优化,适应性碾压 |
| 用户 | 他们服务学者精英 | 我们服务全国王大姐,规模碾压 |
| 数据 | 他们标注数据多 | 我们原始数据海量,潜力碾压 |
| 技术路线 | 他们封闭商业为主 | 我们开源社区协作,活力碾压 |
| 核心指标 | 拼识别精度小数点 | 拼落地广度和使用门槛 |
“看懂了吗?”大胖老师敲着表格,“对称比较,就是在别人的优势主场跟人硬拼,等于拿鸡蛋碰石头。非对称作战,就是换个战场,把对手拉到我们不弱但他们不强的领域——成本、覆盖、易用、开源。在这些维度上,我们不是追赶者,我们是领先者。”
六、尾声:换个赛道,换个心态
文章快结束时,小菜忽然问:“大胖老师,那咱们什么时候能在识别精度上也超过他们?”
二黑推了推眼镜:“精度当然要追。但要搞清楚一件事——精度不是唯一的目标,甚至不是最重要的目标。我们的目标是让全国的王大姐都能用上古籍OCR,让每一本发黄的线装书都能被搜索、被引用、被传承。至于精度小数点后面第几位超过谁,那是水到渠成的事,不是追逐的目标。”
大胖老师点头:“围棋里有一句话——‘善弈者通盘无妙手’。真正的高手,不是每一步都惊天动地,而是每一步都扎实有用。我们做文渊慧典也是这个道理。不追求炫技,不追求刷榜,不追求让同行惊叹。只追求一件事:王大姐双击桌面那个熊猫图标,拖进去一本古籍,茶还没凉,文字就出来了。这,才是我们的赛道终点。”
小菜在笔记本上写下最后一行字:
“不是我们不行,是赛道不同。在竖排繁体的羊肠小道上,我们已经跑在了最前面。”
窗外,新一轮的测试数据正在生成。大胖老师端起保温杯,对着窗外说了一句:“下一期,咱们聊聊为什么全世界都在抢救古籍,用的却都是‘别人家的轮子’。”二黑翻开了那本填坑日志,嘴角微微上扬——那页上,有他最喜欢的三个字:已解决。
本文为注水技术版,您看看即可,不必当真,写此文字就是图一乐:-)
