北邮与腾讯AI Lab提出MoE-CL架构, 解决大模型持续学习核心痛点

在工业级大语言模型（LLM）应用中，动态适配任务与保留既有能力的“自进化”需求日益迫切。真实场景中，不同领域语言模式差异显著，LLM需在学习新场景合规规则的同时，不丢失旧场景的判断能力。这正是大模型自进化核心诉求，即“自主优化跨任务知识整合，适应动态环境而无需大量外部干预”。

为解决此问题，北邮百家AI团队与腾讯AILab团队提出参数高效的对抗性混合专家架构MoE-CL，专门用于LLM的自进化持续指令微调。其核心设计在于“解耦LoRA专家”与“GAN对抗降噪”的结合：为每个任务配置专属LoRA专家以保留任务特定知识，避免参数更新相互干扰；同时设置共享LoRA专家，通过生成对抗网络（GAN）中的任务感知鉴别器抑制无关噪声，确保跨任务知识高效且精准传递，最终实现“知识保留”与“跨任务泛化”的平衡，这也是LLM自进化的核心逻辑。

从实验效果来看，MoE-CL的自进化能力已在实际场景与基准测试中得到验证。在腾讯真实业务场景A/B测试中，它将人工介入成本降低15.3%；在公开MTL5跨域基准与工业级Tencent3基准测试中，其平均准确率优于现有主流方法，且在不同任务训练顺序下保持稳定，证明其无需人工调整即可适配任务动态变化。

论文标题：Self-EvolvingLLMsviaContinualInstructionTuning

论文链接：https://arxiv.org/abs/2509.18133

代码仓库：https://github.com/BAI-LAB/MoE-CL

01引言

在数字经济蓬勃发展的当下，海量文本数据如潮水般涌入互联网平台。例如，新闻资讯的快速更新、电商平台的海量评论等多源异构数据每日激增，面临跨领域、高时效、强精度的多重挑战。若采用传统方案，为每种文本类型单独训练模型，将消耗巨大的计算资源与人力成本；而使用单一模型处理全领域文本，又因数据分布差异导致性能失衡，难以满足业务需求。在此背景下，亟需一种既能高效处理新任务，又能保留旧任务知识的通用技术方案。为此，我们提出MoE-CL大模型混合专家（MoE）持续学习架构，致力于打破传统方法的局限，以实现多领域文本任务的高效协同处理。使得大模型具备自进化能力：动态适应训练数据，自主优化跨任务知识整合。

02方法

混合专家持续学习（MoE-CL）框架聚焦多任务学习中的知识积累与任务适应难题。其核心采用Transformer块的LoRA增强技术，重点优化前馈神经网络（FFN）层，通过引入低秩矩阵降低参数更新量与计算成本，同时提升学习效率。

MoE-CL将LoRA专家分为任务特定与任务共享两类：前者专攻特定任务知识，后者提取跨任务通用信息。结合生成对抗网络（GAN）分离任务特定与共享信息，确保模型获取高质量共享知识。

架构上，N层LoRA增强的Transformer块级联提取信息，最终由门控网络融合两类信息，为任务预测提供支撑。这种设计使模型既能满足任务特异性需求，又能利用任务共性，实现高效持续学习。

图1：MoE-CL的整体框架。MoE-CL通过采用带有任务感知判别器的对抗性MoE-LoRA架构，缓解了灾难性遗忘问题。MoE-CL主要由两部分组成，任务感知判别器优化和指令调整优化。

2.1任务感知判别器优化

2.2指令调整优化

03实验

我们在MTL5和Tencent3两个评测基准上进行了实验，并将我们的方法与几种具有代表性的持续学习方法进行比较，以展示MoE-CL的有效性。

3.1主实验结果

MTL5和Tencent3评测基准上的实验结果如图2，3所示，有以下结论：

Tencent3评测基准上的实验结果，使用腾讯混元作为基座模型。粗体和斜体表示根据主要评估指标准确率的最优和次优。

泛化能力与稳定性突出：相比所有基线方法，MoE-CL平均准确率显著提升，且方差极小，在复杂任务中展现出优异的泛化能力与稳定性；

知识迁移优势显著：MoE-CL在正反向迁移上表现稳定，较MoCL更不易受后续任务影响，验证了生成对抗网络集成至混合LoRA专家网络的有效性；

鲁棒性表现出色：面对不同任务序列顺序，MoE-CL通过分离共享与特定任务专家的架构设计，在MTL5和Tencent3基准测试中展现出极强的鲁棒性，远超其他基线方法。

3.2验证生成对抗网络的有效性

为验证对抗性MoE-LoRA架构对灾难性遗忘的抑制效果，本文构建了不含生成对抗网络（GAN）的MoE-CL对比版本。实验结果（图4）显示，含GAN的MoE专家架构在持续学习任务中平均性能显著优于无GAN版本。这是因为GAN能够精准将特定任务信息分配至对应低秩适配器专家，有效规避任务间知识干扰，尤其在反向迁移（BwT）指标上表现突出，有力证明了GAN在防止灾难性遗忘方面的关键作用。

图4：生成对抗网络对MoE-CL的影响。三个指标都是数值越大表明性能越好。

3.3离线A/B测试

在腾讯真实文本分类任务中，模型依据置信度得分自动判定内容样本类别：超出阈值的样本被直接标记为合规（白样本）或不合规（黑样本），无需人工介入。剔除率作为核心评估指标，直观反映自动分类样本占比，剔除率越高，意味着人工成本越低。

为验证MoE-CL的实际应用价值，研究团队开展离线A/B测试，对比其与生产算法的剔除率表现。实验数据（图5）显示，在任务A和任务B场景下，MoE-CL均实现显著突破。其中，任务A场景中MoE-CL剔除率高达28.8%，较基线算法提升15.3%，直接降低了同等比例的人工介入工作量，切实为业务场景带来降本增效的商业价值。

通过剔除率衡量的离线A/B测试。

04总结

混合专家持续学习框架MoE-CL通过三大核心设计破局：专属任务专家防止灾难性遗忘，任务共享专家促进跨任务知识迁移，生成对抗网络保障共享信息质量。三者协同运作，使模型高效适应新任务，实现大模型持续学习中的自进化。