本站9月12日消息，9月11日，在2025Inclusion·外灘大會(huì)上，螞蟻集團(tuán)與中國人民大學(xué)聯(lián)合發(fā)布業(yè)界首個(gè)原生MoE架構(gòu)的擴(kuò)散語言模型（dLLM）“LLaDA-MoE”。
中國人民大學(xué)高瓴人工智能學(xué)院副教授李崇軒，螞蟻集團(tuán)通用人工智能研究中心主任、西湖大學(xué)特聘研究員、西湖心辰創(chuàng)始人藍(lán)振忠參與了發(fā)布儀式。
據(jù)介紹，這款新模型通過非自回歸的掩碼擴(kuò)散機(jī)制，首次通過原生訓(xùn)練的MoE在大規(guī)模語言模型中實(shí)現(xiàn)了與Qwen2.5相當(dāng)?shù)恼Z言智能（如上下文學(xué)習(xí)、指令遵循、代碼和數(shù)學(xué)推理等），挑戰(zhàn)了“語言模型必須自回歸”的主流認(rèn)知。
實(shí)現(xiàn)數(shù)據(jù)顯示，LLaDA-MoE模型性能效果在代碼、數(shù)學(xué)、Agent等任務(wù)上領(lǐng)先于LLaDA1.0/1.5和Dream-7B等擴(kuò)散語言模型，接近或超越了自回歸模型 Qwen2.5-3B-Instruct，僅激活 1.4B 參數(shù)即可實(shí)現(xiàn)等效3B稠密模型的性能。
值得一提的是，據(jù)藍(lán)振忠介紹，除模型權(quán)重外，螞蟻還將同步開源針對 dLLM 并行特性深度優(yōu)化的推理引擎。
相比 NVIDIA 官方 fast-dLLM，該引擎實(shí)現(xiàn)了顯著加速。相關(guān)代碼與技術(shù)報(bào)告將于近期在 GitHub 及 Hugging Face 社區(qū)同步發(fā)布。
據(jù)介紹，螞蟻集團(tuán)和人民大學(xué)聯(lián)合研發(fā)原生MoE架構(gòu)擴(kuò)散語言模型（dLLM) LLaDA-MoE，在約20T數(shù)據(jù)上完成了從零訓(xùn)練MoE架構(gòu)的擴(kuò)散語言模型，驗(yàn)證了工業(yè)級大規(guī)模訓(xùn)練的擴(kuò)展性和穩(wěn)定性；
效果超過此前發(fā)布稠密擴(kuò)散語言模型LLaDA1.0/1.5和Dream-7B，比肩等效自回歸模型，并保有數(shù)倍的推理速度優(yōu)勢。
模型將在近期完全開源，以推動(dòng)全球AI社區(qū)在dLLM上的技術(shù)發(fā)展。
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時(shí)間聯(lián)系我們修改或刪除，多謝。
