腾讯混元推出“又快又强“的轻量级文字识别大模型HunyuanOCR-1.5
这项由腾讯大语言模型部门与中国科学院信息工程研究所、南开大学联合完成的研究，以预印本形式于2026年7月6日公开发布，论文编号为arXiv:2607.04884。感兴趣的读者可以通过这个编号在arXiv上查阅完整论文，或访问腾讯混元OCR的HuggingFace主页获取模型权重。
文字是人类知识最密集的载体。当你拍下一张合同的照片想让电脑帮你整理内容，或者把一份日文菜单截图发给朋友希望直接翻译成中文，甚至翻阅古籍时希望计算机能认出那些古老的文字——这些需求背后都依赖一项核心技术：光学字符识别，也就是通常说的OCR。
然而传统OCR系统有一个根深蒂固的缺陷。它的工作方式就像一条老式的工厂流水线：第一道工序找出文字在图片里的位置，第二道工序把文字切出来，第三道工序识别字符，第四道工序再把结果拼回去。这条流水线上任何一道工序出了差错，错误就会顺着传下去越积越多，最终吐出一堆混乱的结果。更麻烦的是，这种拼凑式架构根本无法理解文字之间的语义关系，碰上复杂的表格、多栏排版或者跨页文档，往往束手无策。
腾讯混元团队一直在尝试一种截然不同的思路：把所有文字理解任务塞进一个端到端的视觉语言模型里，让它像读书的人一样，直接"看"整页文档，理解文字的含义和结构，一气呵成地输出结果。这个思路在上一代产品HunyuanOCR-1.0上得到了初步验证。而这次发布的HunyuanOCR-1.5，则在此基础上专注回答一个更务实的问题：**在不改变这套框架的前提下，怎样让它跑得更快、能力更强？**
一、一个模型，识别万千文字场景
要理解HunyuanOCR-1.5的价值，首先要知道"文字识别"在现实世界里有多复杂。
最常见的场景是文档解析——把一张扫描好的合同、论文或者报告图片转成可以编辑的文字格式。但文字识别的需求远不止于此。街头招牌上的艺术字、手写的便条、视频里一闪而过的字幕、跨越好几页的表格数据、用甲骨文或篆书写成的古籍、需要直接翻译成另一种语言的外文图片——这些都属于"文字相关的视觉任务"，而现有的大多数模型只在其中一两类上做得比较好。
HunyuanOCR-1.5的目标是把所有这些任务统一在一个模型里解决，就像一个真正精通文字的"万能助手"，而不是只会做单项题的"偏科选手"。
从架构上说，这个模型沿用了HunyuanOCR-1.0的紧凑设计：一个负责"看"图片的视觉编码器（基于腾讯自研的Hunyuan-ViT），一个把视觉信息"翻译"成语言模型能理解的形式的连接器，以及一个轻量级语言模型（Hunyuan-0.5B）负责最终生成文字输出。整个模型的参数规模只有约1B（十亿），属于当今大模型标准下的"迷你选手"。
这一代最重要的结构升级发生在视觉编码器上：最大支持的图片分辨率从2K提升到了4K。这意味着模型现在可以直接处理更高清的文档图片，不需要事先压缩或裁剪，密密麻麻的表格或超大幅面的图纸上的细节都能被保留下来。
二、速度瓶颈：为什么OCR模型特别慢
在说这次的加速方案之前，先要理解一个根本性的问题：为什么文字识别这件事会这么慢？
任何基于语言模型的系统，在生成文字时都是一个字一个字往外"吐"的，这叫做自回归解码。每生成一个字，都需要模型做一次完整的计算，然后再根据前面所有已生成的内容决定下一个字是什么。一篇几百字的文档，模型就要做几百次这样的计算，一篇几千字的长文档，就要做几千次。这就像一个速记员不管你说话多快，他只能一字一字地记，绝不会跳着来。
对于自然对话或者简短问答，这个速度勉强够用，但OCR场景完全不同——一页密集的文档动辄几千个字，一份复杂的表格可能有上万个单元格，每次请求都要生成大量的结构化文字，自回归解码的效率瓶颈在这里被放大到了极致。
HunyuanOCR-1.5采用的解决方案叫做**DFlash推测解码**，其原理可以用一个检查员与助手协作的场景来理解。
假设一个公司的文件审核流程是：主任审核员（目标模型）必须仔细看完每一份文件才能签字，这个过程很慢。现在他找来了一个经验丰富的助手（草稿模型），让助手先快速浏览一份文件，预测出主任接下来会签什么意见，写出一个草案。然后主任只需要快速核对这份草案：如果助手写对了，主任直接接受并推进；如果助手写错了，主任在错误处打住，把正确意见补上。
关键在于，助手不是一个字一个字地预测，而是一口气预测一整段（一个"块"，即block）。主任核对这一整段的时间，比他自己从头写这一段的时间短得多。这样一来，每一次主任参与的计算，能推进的工作量就大大增加了，整体效率自然提升。
DFlash的技术实现稍微精妙一些。这个草稿模型是一个基于块扩散原理的小型神经网络，参数量约为90.7M（约为目标模型的不到十分之一）。它的工作方式是：在目标模型完成一次计算后，缓存下目标模型的隐藏状态（可以理解为模型"读懂"了文档之后留下的理解信息），然后用这些信息作为条件，在一次前向计算中同时预测接下来的16个词元（词元是语言模型处理文字的基本单位，大致相当于一个汉字或一个英文单词）。目标模型随后对这16个预测进行批量验证，接受从头开始连续正确的那一段，保留最长的正确前缀作为输出。
训练这个草稿模型的过程需要一些巧妙的设计。训练时主模型被冻结不动，只优化草稿模型。为了让草稿模型在一次前向计算中处理多个独立的块预测任务，研究团队使用了一种叫做FlexAttention的技术来设计注意力掩码，确保不同块之间互不干扰，但每个块都能看到自己锚定位置之前的所有上下文信息。损失函数中还加入了指数衰减权重，越靠前的预测权重越高，越靠后的预测因为不确定性更大而降低权重，这让训练更聚焦于真正有价值的预测。
这套方案的加速效果格外显著，是因为OCR输出恰恰具有"强局部规律性"。一张HTML表格的下一行通常和上一行结构类似，数学公式的下一个符号往往遵循固定的LaTeX语法，结构化Markdown文档的格式也高度重复。这种规律性让草稿模型的预测更容易准确，意味着每次主模型验证时能接受的正确词元数量更多，加速效果也就越好。
在实际测试中，以OmniDocBench文档解析基准为测试集，与标准自回归解码相比，DFlash在Transformers框架下实现了6.37倍的加速，在vLLM部署框架下实现了2.14倍的加速，平均每页的处理延迟从3.032秒降至1.408秒。更值得关注的是，加速效果随着输出长度的增加而提升：对于超过2048个词元的长输出，vLLM下的加速比达到了2.30倍，Transformers下更达到了6.67倍。在不同内容类型上，表格内容因为结构最规律而获得了最大的加速（vLLM下2.39倍），公式其次（2.06倍），纯文本最少（1.81倍）。
与同类系统相比，HunyuanOCR-1.5（使用DFlash）以每页1.408秒的处理速度成为所有参与对比的系统中最快的，比两阶段流水线方案GLM-OCR快约1.17倍，比PaddleOCR-VL-1.6快约1.24倍，比同为端到端方案的dots.ocr快约5.08倍。此外，HunyuanOCR-1.5还支持通过llama.cpp在普通PC、消费级显卡甚至笔记本电脑的CPU上运行，进一步降低了部署门槛。
三、数据炼金术：用"AI特工"造数据
速度问题解决了，能力怎么扩展？这里研究团队提出了一个叫做**Agentic Data Flow（智能体数据流）**的框架，本质上是让AI助手来帮AI模型"补课"。
模型能力的上限在很大程度上取决于训练数据的质量和覆盖范围。当模型在某类任务上表现差时，最直接的修复方法就是补充这类数据。但问题在于，"补充数据"说起来简单，实际操作极其繁琐：你需要搜集原始材料，筛选和清洗低质量内容，设计数据生成的流程，编写处理脚本，检验生成结果的质量，根据问题反复调整——这一套下来往往需要大量人力和时间。
Agentic Data Flow的做法是：算法工程师用自然语言告诉一个配备了各种工具调用能力的AI智能体"我们的模型在低资源语言识别上很弱，请帮我生成这方面的训练数据"，然后智能体自主完成绝大部分的繁琐工作。这个智能体可以调用网络搜索来收集语料库和字体文件，可以调用OCR服务和视觉语言模型来自动检验收集到的背景图片质量，可以编写渲染脚本和数据生成流程，并在工程师检查中间样本、指出质量问题后自动修正。整个过程就像工程师有了一个不知疲倦的AI助手团队，能在工程师的方向指导下自主推进大量机械性工作。
这个框架在HunyuanOCR-1.5中被应用于三类"难题"的数据构建。
第一类是低资源语言OCR。世界上有数千种语言，但绝大多数语言在互联网上的数字资源极为匮乏，主流OCR系统对这些语言往往束手无策。智能体通过网络搜索自动收集了覆盖331种语言的文字语料和对应的TTF字体文件，测试每种字体对各自语言字符的渲染兼容性，然后仿照SynthText和SynthDoG等经典数据合成方法，将不同语言的文字以各种可控的排版风格渲染到多样化的背景图片上，生成海量合成训练数据。
第二类是古文字OCR。中国文字有漫长的演化历史，从甲骨文、金文、大篆、小篆，到隶书、楷书、行书、草书，每种字体在视觉形态上差异巨大，现代OCR系统几乎无法处理。智能体自动搜集了七种历史字体对应的多种TTF字体文件，收集具有古籍或历史文献风格的背景素材，并通过调用HunyuanOCR-1.0和Qwen3.5进行多模型联合验证来过滤掉质量不佳的背景图。随后按照不同历史字体的书写方向（如古代文字常见的竖向右起排版）、布局风格和视觉特征，开发了专门的古文字合成数据流程，支持多种背景、字体、版式和做旧效果的组合。
第三类是多图文档问答。现实中的文档往往不止一页，用户需要跨越多个页面检索和整合信息来回答问题。智能体收集了大量多页PDF文档，用PDF工具提取每页的文字内容和结构信息，将这些内容按页面顺序整理成跨页上下文，然后调用强大的文字模型来生成需要真正理解多个页面才能回答的问题——包括跨页信息检索、多页内容比较、证据汇总和文档级推理题。为了确保这些问题确实需要多页理解，数据流还自动过滤掉了只看单页就能回答的问题、答案与PDF内容不一致的样本，以及没有明确文字证据支撑的问题。
四、从"有点会"到"真的强"：三阶段训练配方
有了新数据，接下来是怎么用好它们的问题。HunyuanOCR-1.5的训练分为三个阶段，每个阶段承担不同的任务。
第一阶段是预训练的"补课"。研究团队没有推倒重来，而是复用HunyuanOCR-1.0的前两个预训练阶段，只对第三阶段进行了重新规划。调整后的第三阶段同时喂入三类数据：Agentic Data Flow生成的新能力数据、多图理解数据、以及来自1.0版本的历史OCR数据。新数据的作用是补充短板，历史数据的作用是防止"遗忘"已有能力。与此同时，这一阶段还把最大图片分辨率提升到4K，把上下文窗口扩展到128K词元（相当于能同时处理约六七万个汉字），让模型能够处理高清文档和超长文本。
第二阶段是监督微调（SFT），可以理解为"精修"。团队从1.0版本的训练数据出发，系统清除了标注错误、格式不一致、图文不匹配和重复低质的样本，再注入Agentic Data Flow生成的新能力数据和用户反馈的难题案例。微调数据被分成两份：一份用于当前阶段的SFT，另一份——主要由高难度样本构成——留给下一阶段使用。此外，这一阶段还统一了不同任务的指令格式，给每类任务配备了专门的提示词，避免模型在处理不同任务时出现理解混乱。
第三阶段是强化学习（RL），这是真正突破能力天花板的环节。强化学习的核心思想是：不直接告诉模型"正确答案是什么"，而是让模型自己尝试，然后根据结果给予奖励或惩罚。HunyuanOCR-1.5设计了三种互补的奖励信号。
第一种针对文档解析的事实准确性。模型输出被拆分为两部分：纯文字部分用基于编辑距离的指标打分（衡量输出与正确答案的字符差异），特殊结构元素（表格和图表）则用专门设计的指标打分。对于表格，研究团队改进了现有的TEDS指标：结构奖励换成了更透明的一维结构探针指标，内容奖励加入了锚点引导的去样式化机制，让公式等不同写法但语义相同的内容不会被误判为错误。对于图表，数据会被转成CSV格式，然后用SCRM指标计算均值平均精度，这个指标对行列顺序不敏感，因为把图表数据的行列调换不影响图表本身的含义。
第二种针对通用问答任务。这里采用了"让语言模型当裁判"的方式：模型的回答和参考答案同时提交给一个判题LLM，由它判断二者是否一致。对于普通问答，判题结果是二值的（一致得1分，不一致得0分）；对于翻译任务，则提供源语言文字和目标语言标签等辅助信息，让判题LLM在0到5分范围内打软分，并通过去偏差映射将分数转换到0到1区间，提高对翻译质量细微差异的敏感度。
第三种针对稳定性，专门惩罚"失控"的输出。当模型遇到不熟悉的输入时，有时会生成无休止的重复内容或者超出合理长度的输出，严重影响实用性。针对这个问题，训练中为每个任务设定了输出长度上限，超过上限的生成直接得0分；同时还会检测输出末尾是否出现短单元的连续重复（如同一段文字反复出现多次），检测到则同样得0分。
强化学习的优化算法采用了IcePop，这是一种改进版的GRPO（群相对策略优化）方法。它的特别之处在于能处理训练引擎和推理引擎之间参数不完全同步带来的偏差——在大规模训练中，为了效率往往把推理和训练分开运行，但两侧的模型参数不完全一致，不加处理会导致梯度计算失准。IcePop通过计算两侧策略的词元级比值，只保留比值在合理范围内的词元参与梯度更新，从根本上抑制了这种不一致带来的训练不稳定性。
五、成绩单：新能力与老能力全面检验
HunyuanOCR-1.5的评测方案本身就值得一说。研究团队没有只看一两个标准榜单，而是构建了一棵"能力评估树"，把模型需要具备的所有能力分成五个大类：基础OCR和文档理解、长尾能力扩展、结构化视觉元素解析、跨页跨语言理解、以及应用级可靠性评估。
在古文字识别方面，Chronicles-OCR基准覆盖甲骨文、金文、篆书、隶书、楷书、行书、草书七种字体。HunyuanOCR-1.5在1B参数的轻量级模型中达到了SOTA水平，甲骨文等古文字（archaic scripts）的解析得分为0.54，成熟字体（mature scripts）的得分为0.79。相比之下，同类别的专业OCR模型中，DeepSeek-OCR的成绩分别只有0.01和0.24，即便是参数量大得多的通用视觉语言模型，在古文字上的表现也普遍不如HunyuanOCR-1.5。
在图表解析方面，ChartArena基准包含柱状图、折线图、饼图、雷达图、箱线图、组合图、流程图、思维导图等多种图表类型，同时覆盖中英文场景。HunyuanOCR-1.5以48.9（英文均值）和64.1（中文均值）的综合成绩，达到了与8B规模通用模型相当的水平，而它的参数量只有1B，不到8B模型的八分之一。
在表格解析方面，TableVerse-5K基准专门考查复杂版式下的表格结构和内容重建。HunyuanOCR-1.5在TEDS和TEDS-S两项指标上分别达到了78.23和84.84，在所有专业OCR模型中位居第一。
在多图文档问答方面，DUDE基准要求模型跨越多页文档检索和整合信息。HunyuanOCR-1.5在验证集上得到54.64分，非常接近0.8B规模通用多模态模型Qwen3.5-0.8B的56.41分，说明经过专门的多图训练后，这个专注OCR的模型已经具备了相当的跨页理解能力。
在低资源多语言解析方面，MORE基准覆盖149种语言。HunyuanOCR-1.5以91.90的总分在所有专业OCR模型中排名第一，超过了此前领先的PaddleOCR-VL-1.6（89.88）。
研究团队还特别引入了一个全新的评测维度，称为CHAOS-Bench（面向OCR序列的综合幻觉评估基准）。这个基准的设计思路很有创意：在学术论文的图片里，故意把几个选定词语的某个字符替换掉，变成一个没有任何语言意义的"乱码词"，然后检测模型的输出里是否保留了这个乱码词。如果模型真的忠实地把图片里的文字原样转录，这个乱码词就应该出现在输出里；如果模型依赖语言先验"脑补"了一个合理的词，乱码词就会消失，说明模型产生了幻觉。HunyuanOCR-1.5在这个指标上的得分为14.15，显著高于其他参与对比的模型（最接近的只有6.33），但绝对值仍然偏低，说明忠实保留"看见的字"而非"认识的字"依然是当前所有OCR模型的共同挑战。
在继承自1.0版本的核心能力上，HunyuanOCR-1.5同样有所提升。在OmniDocBench v1.6端到端文档解析榜单上，它以94.74的总分在所有端到端专业OCR模型中位居第一，超过了FireRed-OCR（93.26）、ABot-OCR（93.30）、Unlimited-OCR（93.92）等同类竞品，甚至超越了部分参数量大得多的通用视觉语言模型。
文字定位和识别（Spotting）测试中，HunyuanOCR-1.5的综合得分从1.0版本的70.92提升到71.40，并新增了"无文字图片处理"能力：当输入图片中根本没有文字时，模型不会臆造出不存在的文字框，而是正确返回"没有文字"。在内部1000张无文字图片的测试集上，这项能力的准确率达到了99.8%，而1.0版本只有78.1%，这对需要处理各种真实输入的OCR系统来说非常关键。
在文字图片翻译方面，HunyuanOCR-1.5在覆盖更多语言和场景的MMTIT基准上的得分（英文方向76.51，中文方向76.01）超过了HunyuanOCR-1.0（73.38/73.62），并在参数量只有1B的情况下超过了8B规模的Qwen3-VL-8B（75.09/75.63）。在信息提取、视频字幕提取和通用OCRBench问答等维度上，HunyuanOCR-1.5也稳定保持了与1.0版本相当或略有提升的表现。
说到底，HunyuanOCR-1.5做到了一件不容易的事：在不把模型变大、不改变核心框架的前提下，通过更聪明的推理加速、更系统的数据构建和更精细的训练策略，同时实现了"快"和"强"两个目标。对于那些真正需要在实际产品中部署OCR能力的工程师来说，这意味着：同样的硬件预算下，可以处理更多的请求；同样的延迟要求下，可以支持更长的文档；此前无法覆盖的古文字、稀有语言、跨页文档等场景，现在也有了可用的解决方案。
当然，从CHAOS-Bench的结果来看，"让模型完全按照图片上写的是什么来输出，而不是它认为应该是什么"这个问题还没有得到很好的解决，这也许是下一代模型需要重点攻克的方向。研究团队在论文中也提到了未来工作的几个方向：进一步压缩高分辨率图像的视觉词元冗余，把Agentic Data Flow推向数据与模型持续共同进化的闭环，以及提升长文档和视觉复杂场景下的生成可靠性。
如果你对这项研究的具体技术细节感兴趣，可以通过arXiv编号2607.04884查阅完整论文，模型权重也会在腾讯混元OCR的HuggingFace主页上开放下载，供研究者复现、微调和扩展使用。
Q&A
Q1：HunyuanOCR-1.5的DFlash推测解码是怎么加速文字识别的？
A：DFlash的原理类似"草稿+审核"流程：一个小型草稿模型一次性预测接下来的16个词元，主模型批量验证这些预测并接受连续正确的部分。由于OCR输出（如表格HTML、公式LaTeX）结构规律性强，草稿预测准确率高，每次主模型计算能推进的词元数量远超传统逐字生成，最终在vLLM框架下实现了2.14倍加速，Transformers框架下实现了6.37倍加速。
Q2：Agentic Data Flow和传统数据收集方式有什么区别？
A：传统方式需要工程师手动搜集材料、编写清洗脚本、设计生成流程，耗时耗力。Agentic Data Flow让AI智能体承担大部分繁琐工作：工程师只需用自然语言描述目标（如"生成低资源语言识别数据"），智能体自动调用网络搜索、OCR服务、图片清洗工具等完成材料收集、质量验证和数据生成脚本开发，工程师只负责检查中间结果并提出修改意见，整体效率大幅提升。
Q3：CHAOS-Bench测试的"幻觉"问题在OCR领域具体指什么？
A：OCR幻觉是指模型没有忠实转录图片里实际存在的文字，而是根据语言习惯"补脑"出它认为应该有的内容。CHAOS-Bench通过故意在图片中把某些词的一个字符替换成无意义字符来测试这一点——如果模型输出里保留了这个乱码词，说明它真的在"读图"；如果模型把乱码词替换成了正常词，就说明产生了幻觉。HunyuanOCR-1.5在这项测试中得分14.15，在参与对比的模型里最高，但绝对值仍偏低，说明这个问题对当前所有OCR模型来说都还是难题。