2025_NIPS_Multi-Objective One-Shot Pruning for Large Language Models

文章核心总结与翻译

一、主要内容

文章针对大型语言模型（LLMs）部署时面临的计算资源约束问题，提出多目标一次性剪枝（MOSP）框架。传统一次性剪枝方法仅优化单一目标，忽略LLMs多任务应用场景下的多样化需求，MOSP将剪枝转化为多目标优化问题，通过双ADMM识别跨任务核心权重支持、任务特定ADMM优化及PCG refinement三步流程，生成帕累托最优模型集合，用户可根据偏好（如文本理解、数学推理、代码生成权重分配）选择适配模型。实验验证了MOSP在Llama、OPT系列模型及不同稀疏度下，均优于SparseGPT、ALPS等基线方法，且计算与内存开销可控。

二、创新点

1. 首次将LLM剪枝构建为多目标优化问题，明确适配用户多样化偏好需求。
2. 提出MOSP框架，高效生成帕累托最优剪枝模型集合，支持目标间灵活权衡。
3. 设计双ADMM算法并提供收敛性证明，实现核心权重支持与任务特定权重的解耦优化。
4. 支持无结构与半结构稀疏性，可动态响应用户偏好向量生成定制化模型。

三、关键部分翻译（Markdown格式）

Abstract

大型语言模型（LLMs）在各类任务中展现出卓越性能，但需大量计算资源，限制了其在资源受限环境中的部署。尽管一次性剪枝方法无需昂贵的再训练即可减小模型规模，却通常仅优化单一目标，忽略了LLMs的多场景应用需求。本文提出多目标一次性剪枝（MOSP）框架