MaRCA：大规模推荐系统中动态计算分配的多智能体强化学习

现代推荐系统面临模型复杂度与流量规模激增带来的巨大计算挑战，高效的计算资源分配对实现商业收益最大化至关重要。

现有方法通常将多阶段计算资源分配问题过度简化，忽略了阶段间的相互依赖关系，从而限制了全局最优性。

本文提出MaRCA——一种面向大规模推荐系统的端到端计算资源分配多智能体强化学习框架。MaRCA将推荐系统各阶段建模为协同智能体，采用“集中训练、分散执行”机制，在计算资源约束下优化系统收益。

我们设计了AutoBucket测试基准平台以实现精确的计算成本评估，并引入基于模型预测控制的收益-成本平衡器，主动预测流量负载并动态调整收益与成本的权衡关系。

自2024年11月在一家全球头部电商平台的广告全链路端到端部署以来，MaRCA每日稳定处理数千亿级广告请求，在计算资源总量不变的情况下实现了16.67%的收益提升。