MTA: A Merge-then-Adapt Framework for Personalized Large Language Model

文章总结与翻译

一、主要内容

本文针对个性化大语言模型（PLLMs）现有方法中存在的存储成本随用户数量线性增长（可扩展性差）和稀疏数据场景下性能不佳两大核心问题，提出了一种名为MTA（Merge-then-Adapt）的三阶段框架，实现高效、可扩展的个性化适配。

核心框架流程

1. 元-LoRA银行构建（Meta-LoRA Bank Construction）：通过K-Means聚类用户历史数据嵌入，从每个聚类中选取最活跃的“锚定用户”，为每个锚定用户微调专属LoRA模块，形成包含多样化个性化特征的共享元-LoRA银行（存储成本降为O(V)，V远小于用户总数n）。
2. 自适应LoRA融合（Adaptive LoRA Merging）：基于目标用户与锚定用户的余弦相似度，检索最相关的多个锚定LoRA模块，按相似度权重进行动态线性融合，生成用户专属的“融合LoRA”，突破传统“一对一LoRA”的静态限制，实现无限用户的自适应适配。
3. 少样本个性化的LoRA堆叠（LoRA Stacking for Few-Shot Personalization）：将融合LoRA与基础模型权重固化，在其之上叠加一个超低秩（如r=4）的轻量LoRA模块，仅微调该模块即可捕捉目标用户的细粒度偏好，解决稀疏数据下的个性化对齐问题。

实验验证

在