仓库级代码补全：选择性检索提速70%
使用选择性检索增强仓库级代码补全
一种自监督方法，用于学习何时从代码仓库检索上下文信息，可在提升准确率的同时，将代码补全速度提升70%。
代码大语言模型是在源代码而非自然语言文本上进行预训练的模型。它们非常擅长仅根据上下文补全任意程序函数的代码。然而，在面对全新的大型软件开发项目时，它们会显得力不从心，因为正确的代码补全可能依赖于代码仓库其他位置定义的 API 调用或函数。
检索增强生成通过从仓库中获取相关上下文来解决这个问题，丰富了模型的理解并改善了其输出。但执行检索需要时间并会减慢生成速度：它总是最佳选择吗？
在提交给今年国际机器学习大会的一篇论文中，研究人员对这个问题进行了研究，发现事实上，80%的情况下，检索并未提升代码生成的质量。
方法
为解决这一低效问题，研究人员微调了一个大语言模型，使其能够判断检索是否可能有帮助，并根据判断结果输出两个特殊标记中的一个。
用于微调的数据集是通过从开源许可证仓库中采样代码构建的，其步骤包括：随机屏蔽代码行、从仓库其他位置检索相关代码，然后比较大语言模型在有和没有额外上下文两种情况下对屏蔽代码的重建结果。最后根据检索是否改善了生成结果对样本进行标记。
实验中，在代码补全任务上，基于该数据集微调的代码大语言模型表现甚至优于始终执行检索的模型——但由于采用了选择性检索，其推理速度提升了70%。论文中还报告了广泛的实验，旨在证明该方法能很好地泛化到不同的模型和不同的代码补全任务中。
创建数据集的所有步骤——采样和屏蔽代码、检索相关代码、以及在有无检索上下文的情况下进行代码生成——都可以自动化，这使得该方法具有自监督的特性：它不需要任何人工标注，并且可以扩展到任意大的数据集规模。
研究人员试验了多种从仓库中检索上下文信息的方法，包括使用基于Transformer的语义嵌入来匹配代码序列的 UniXCoder，以及使用 n-gram 数据、语法树和代码流语义的 CodeBLEU。然而，这些方法的表现都不及效率高得多的 Jaccard 相似度。因此，在大部分实验中，研究人员使用 Jaccard 相似度进行检索。同时假设，通过使用结构感知的分块而非固定的行数分块，可以用语义检索获得更好的性能，并将其留作未来工作。
对于模型微调，研究人员使用了填空机制，即从代码序列中移除被屏蔽的代码，并用特殊标记标识其前后的部分。训练目标是在输入字符串的末尾附加被屏蔽的代码，同样用特殊标记标识。这使得模型能够利用屏蔽代码之前和之后的上下文信息。
在微调过程中，有两个训练目标：正确重建缺失的代码，以及准确评估检索信息何时有助于重建。
准确性评估
与现有模型（如 StarCoder）相比，这种称为 Repoformer 的方法在包括 RepoEval 和 CrossCodeEval（一个针对长形式代码补全新的基准）在内的各种基准测试上，均提高了准确率并降低了推理延迟。
延迟评估
研究人员在一个真实的“在线服务”环境中展示了 Repoformer 降低延迟的能力。假设工作仓库已经被索引。给定一个包含当前文件的代码补全请求，系统同时启动三个进程：
- 使用 Repoformer 做出检索决策；
- 使用代码大语言模型生成不带跨文件上下文的代码补全；
- 检索跨文件上下文并使用它生成代码补全。
在一系列固定的选择阈值下，Repoformer 的选择性检索既能提高准确性，也能提高推理速度。该性能在广泛的阈值设置下依然保持稳定。
更有趣的是，Repoformer 可以作为一个即插即用的策略模型，在检索增强生成中作为生成模型时，降低各种强大的代码大语言模型的推理延迟。凭借超过85%的检索决策准确率，Repoformer 确保了上下文检索仅在增加价值时才被使用。
进一步的分析表明，所提出的策略提高了 Repoformer 对检索的鲁棒性，减少了有害的检索行为，并增加了通过检索得到改进的实例数量。FINISHED
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）