转载整理自 智子引擎
量子位 | 公众号 QbitAI

随着多模态大模型的智引展模快速发展，当前主流多模态大模型具备完成多种任务的擎开能力（图文描述、视觉问答、源多临沂市某某旅行用品制造厂文字识别、模态模型图标理解、可高目标检测等）。效扩型容但是智引展模，这些不同的擎开多模态任务往往具有完全不同的数据分布，导致在模型训练过程中遇到“多任务冲突”的源多问题，尤其在模型参数量较小时，模态模型这种问题尤为突出。可高如何才能在有限增加模型参数量以及训练成本的效扩型容条件下，高效地扩展模型容量，智引展模临沂市某某旅行用品制造厂缓解多模态大模型“多任务冲突”问题？

近日，擎开针对这一挑战，源多来自大模型初创公司智子引擎的研究团队开源了基于MoE架构的多模态大模型Awaker2.5-VL。Awaker2.5-VL通过设置多个专家，扩展了模型在不同任务上的能力，有效地缓解了多模态“多任务冲突”的问题。该模型还对MoE中门控网络的路由策略进行了细致的研究，并设计了一个简单且十分有效的路由策略，提升了模型训练的稳定性。目前，Awaker2.5-VL的论文和代码已经公开，后续还会更新更强的版本。

论文地址:
https://arxiv.org/abs/2411.10669

代码仓库:
https://github.com/MetabrainAGI/Awaker

模型架构

Awaker2.5-VL采用参数高效的LoRA-MoE架构，如下图（左）所示。该架构包含多个Task Expert和一个Global Expert，分别学习专用知识和通用知识，每个专家都是一个LoRA结构。此外，该架构还包含一个门控网络用于控制专家的激活。这种MoE架构可以在Attention、MLP等结构中执行快速插入的操作，并且还可以通过调整每个LoRA的秩自行调整模型的参数量。Awaker2.5-VL还设计了一个简化版的MoE架构，如下图（右）所示，在这个简化版MoE中，门控网络被移除，而是由其它层MoE共享的路由结果控制专家的激活。Awaker2.5-VL在基座模型中的不同模块穿插使用这两种MoE架构。

Awaker2.5-VL采用的两种MoE架构

Awaker2.5-VL针对MoE架构中门控网络的路由策略进行了研究，并设计了一种简单且有效的Instance-level的路由策略。该策略将图片和问题的Embedding作为门控网络的输入，并且为了保持训练和推理时路由的一致性，训练时数据中的label部分不参与路由。此外，与传统MoE不同的是，Awaker2.5-VL每一层MoE的门控网络都共享相同的输入。这种简单高效的路由策略降低了模型的复杂度，提高了模型的稳定性。

模型训练

Awaker2.5-VL以Qwen2-VL-7B-Instruct作为基座模型进行实现，总模型参数量为10.8B。训练分为三个阶段，如下图所示。第一阶段，初始化训练。在该阶段基座模型被冻结，并设置一个单LoRA进行训练。第二阶段，MoE训练。该阶段进行整个MoE模块的训练（包括每个专家和门控网络），其中每个专家都使用第一阶段训练的LoRA进行参数初始化。第三阶段，指令微调阶段。该阶段将MoE的门控网络冻结，仅训练每个“专家”，将进一步加强模型的指令跟随能力。同时，该阶段的训练策略也适用于基座模型在其他下游任务微调的场景。

Awaker2.5-VL的三阶段训练过程

Awaker2.5-VL一共使用了1200万的指令数据进行模型训练，其中包括700万的英文数据和500万的中文数据。英文数据主要来源于开源数据，包括Cambrian (2M)、LLaVAOneVision (4M)、Infinity-MM (800K)、MathV360k (360K)等。中文数据则是智子引擎团队的自建数据集，包括图文描述、图文问答、目标检测、文字识别等多种任务数据。

模型性能

Awaker2.5-VL主要在MME-Realworld系列和MMBench系列Benchmark上分别进行了中文测评和英文测评。MME-Realworld是当前最难、规模最大多模态评测基准，而MMBench是主流多模态大模型参评最多的评测基准之一。

Awaker2.5-VL在MME-Realworld和MME-Realworld-CN都位列榜首，且是目前唯一在该Benchmark上“及格”（超过60分）的模型。考虑到MME-Realworld主要面向自动驾驶、遥感、视频监控等复杂场景，Awaker2.5-VL在MME-Realworld上的出色表现很好地展示它在落地应用中的巨大潜力。

Awaker2.5-VL分别在MMBench、MMBench_v1.1、MMBench_CN、MMBench_CN_v1.1四个榜单进行了测评，并且分别以英文能力平均分数（MMBench和MMBench_v1.1）和中文能力平均分数（MMBench_CN和MMBench_CN_v1.1）进行排序。Awaker2.5-VL在中文场景和英文场景中分别位列第9和第7。在同量级参数量的模型中，Awaker2.5-VL表现远超其他模型。这就是说Awaker2.5-VL能够兼顾模型效果和资源消耗，也进一步证明它具有极大的落地应用价值。

模型应用

2024年，智子引擎已经成功地将Awaker2.5-VL应用于多个复杂的实际场景，包括国家电网、社会治理、服务型机器人等。在即将到来的2025年，智子引擎将继续探索Awaker2.5-VL更多的落地应用场景。为了鼓励这种探索，智子引擎选择开源Awaker2.5-VL，基于战略合作伙伴清昴智能的华为昇腾原生工具链MLGuider-Ascend，Awaker2.5-VL已适配昇腾全产品线，希望更多生态伙伴能够参与进来。同时，为了加速国产化AI进程，Awaker系列开源模型与清昴智能已形成标准的昇腾国产方案，将上线至昇腾平台，欢迎大家关注和使用。

• ·甩锅内地，吃相难看！香港火灾后，甄子丹老婆一个举动，全网翻车
• ·凌晨3点，欧冠19亿大战！1年前决赛重演，大魔王冲击100球
• ·甜宠短剧老年化后，赚翻了！
• ·猫人科技内衣闪耀时装周“热感之巅”燃爆米兰
• ·三大航司发布公告：中日航线免费退改签延长至明年3月28日
• ·央视秋晚这一夜，唐嫣莞尔一笑融化月亮，刘涛轻挥衣袖美得像月光
• ·越简约越高级，早秋如何穿出时尚感，极简风才是首选
• ·比常规封禁还要严重，辛巴三只羊闹剧留下3大疑问，越想越不对劲
• ·新一对中国大熊猫计划于2027年落户法国博瓦勒动物园
• ·每体：弗里克留伊尼戈是正确的，他在场上场下不断指导年轻人
• ·西媒：巴萨在和乌奈
• ·一年一度的“月饼大考”，谁又卷起来了？
• ·今日首航！东航开通北京大兴—马斯喀特直飞航线
• ·五十多岁女人穿什么？这些秋后的穿搭秘籍，不仅显年轻还洋气
• ·王菲送李嫣英国留学，18岁的李嫣好高冷，穿黑衣服又瘦又飒
• ·梁咏琪秒删外籍丈夫与女儿玩乐照！意外曝光豪宅客厅信息量太大