IQuest-Coder-V1：国产大模型出现了新玩家
前天，除了DeepSeek发布了新工作之外，另一个国内量化团队也搞了一个大动静。
九坤投资在去年成立的至知创新研究院团队发布了 IQuest-Coder-V1。
这是一个专注于代码领域的垂类模型，参数仅40B，不是MoE结构，而是Dense架构。
模型已开源在Hugging Face[1]上，共包括四款：
- IQuest-Coder-V1-40B-Base-Stage1
- IQuest-Coder-V1-40B-Base
- IQuest-Coder-V1-40B-Instruct
- IQuest-Coder-V1-40B-Loop-Instruct
前两个都是试验中间状态产物。
后两个是最终的完全体，带Loop表示引入LoopCoder机制的模型。
它公布的评测结果相当惊人，在各种评估基准上，比claude sonnet-4.5都要好。
核心亮点：LoopCoder
这个模型的训练过程从预训练、SFT到强化学习都比较常规。
核心亮点是提出了LoopCoder这个机制。
根据其代码仓库里的这篇论文[2]所述，LoopCoder主要是为了解决复杂问题推理。
LoopCoder这个机制是要求模型在中间状态时“思考”两遍。
如图所示，第一次输入Input Token，得到潜空间的结果Latent Input。
这个结果会被共享到第二次输入，进行第二轮迭代。
在第二次迭代中，计算两种注意力：全局注意力（查询关注第一次迭代的所有键值对）和局部注意力（查询仅关注第二次迭代中的先前令牌以保持因果关系）。
两种注意力输出通过一个基于查询表示的学习门控机制进行组合，该门控制全局上下文细化和局部因果依赖的加权混合，最后输出最终结果。
这个机制乍一看有点像Agent的自我迭代：将第一轮的输出再输入到模型中得到第二轮更好的结果。
但不同的是，LoopCoder是内部进行的，效率会更高，也可以针对性优化。
看完这个机制，想到了DeepSeek提出的思维链(CoT)。
思维链是要求模型在输出时，强制把思考过程作为结果一同输出出来。
而LoopCoder是直接让模型在“脑中”思考两遍，比如让它写一个代码，它第一遍先思考要用什么技术栈，代码架构怎么做，第二遍再具体去做。
这样去理解LoopCoder的动机，似乎有几分道理。
混合语言训练
大模型对不同编程语言的掌握情况是不一样的，在做预训练时，作者团队提出了一个有价值的发现：用混合语言的方式对模型训练，优于用单一语言进行微调。
他们进一步试验出了分配比例，在最佳比例下，不同语言的协同增益效果如下表所示：
从表中能够看出，Java对其它语言的增益非常显著，特别是C#和Java语法比较接近，相比基线有20%的增幅，看来还是Java的高质量代码最多。
从最终效果上看，大模型对语言的掌握情况从弱到强满足：
C# < Java ≈ Rust < Go < TypeScript < JavaScript < Python
评估结果对比
开头的图片仅展示了部分模型对比。
对于代码生成任务而言，更详细的对比如下表所示。
从数值上看，这个模型只能做到部分领先，没领先的几个基准上，指标也不是很差。
它没有提供API，如果要测它的实际表现，必须要本地部署才行。
网友All In AI的测试表明[3]，该模型引入的LoopCoder机制会导致处理速度缓慢，实用价值不高。
此外，还有人发现[4]，这个模型在 SWE-bench 基准上评测时，无意触发了该基准的漏洞：在评测中“看到了未来的 Git 提交”，等于提前拿到了标准答案，因此它的 SWE-bench 成绩会虚高。
这不是研究人员刻意“作弊”，而是评测数据集的问题，去年九月前就有人发现过[5]。
总结
这个模型在架构上的创新还是有点新意的，国产开源大模型赛道又增加了一个玩家。
他们的起步策略还是挺聪明的，不直接上来就搞通用大模型，而是在已经充分被市场验证价值的编程领域开始切入。
模型更小，领域更垂直，有可能成为今年的新趋势。
参考
[1] https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Loop-Instruct
[2] https://github.com/IQuestLab/IQuest-Coder-V1/blob/main/papers/LoopCoder_arxiv.pdf
[3] https://x.com/HaohaoHenr56041/status/2006843118969303382
[4] https://x.com/xeophon/status/2006969664346501589
[5] https://x.com/giffmana/status/1963327672827687316