要聞

豆包大模型提出稀疏模型架構(gòu)，推理成本較MoE最高可降83%

每日經(jīng)濟(jì)新聞 2025-02-12 14:45:28

每經(jīng)北京2月11日電（記者楊昕怡）豆包大模型團(tuán)隊(duì)今日宣布，團(tuán)隊(duì)提出了全新的稀疏模型架構(gòu)UltraMem，該架構(gòu)有效解決了MoE（混合專家模型）推理時(shí)高額的訪存問題，推理速度較MoE架構(gòu)提升2~6倍，推理成本最高可降低83%。該研究還揭示了新架構(gòu)的Scaling Law（規(guī)模定律），證明其不僅具備優(yōu)異的Scaling特性，更在性能上超越了MoE。

如需轉(zhuǎn)載請(qǐng)與《每日經(jīng)濟(jì)新聞》報(bào)社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報(bào)社授權(quán)，嚴(yán)禁轉(zhuǎn)載或鏡像，違者必究。

讀者熱線：4008890008

特別提醒：如果我們使用了您的圖片，請(qǐng)作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站，可聯(lián)系我們要求撤下您的作品。