豆包提出全新稀疏架構(gòu) 推理成本較MoE最高可降83%
2025-02-12 13:04
來(lái)源: 云財(cái)經(jīng)
影響力評(píng)估指數(shù)：16.37
消息收藏夾
收藏
已收藏
消息收藏夾
收藏
已收藏
云財(cái)經(jīng)訊，隨著模型規(guī)模的擴(kuò)大，推理成本和訪存效率已成為限制大模型規(guī)模應(yīng)用的關(guān)鍵瓶頸。近期，字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)提出了全新的稀疏模型架構(gòu)UltraMem，該架構(gòu)有效解決了MoE推理時(shí)高額的訪存問(wèn)題，推理速度較MoE架構(gòu)提升2—6倍，推理成本最高可降低83%。該研究還揭示了新架構(gòu)的Scaling Law，證明其不僅具備優(yōu)異的Scaling特性，更在性能上超越了MoE。實(shí)驗(yàn)結(jié)果表明，訓(xùn)練規(guī)模達(dá)2000萬(wàn)value的UltraMem模型，在同等計(jì)算資源下，可同時(shí)實(shí)現(xiàn)業(yè)界領(lǐng)先的推理速度和模型性能，為構(gòu)建數(shù)十億規(guī)模value或expert開(kāi)辟了新路徑。
| 新聞標(biāo)題 | 時(shí)間 | 消息來(lái)源 | 新聞熱度 |
|---|---|---|---|
| 北京市委書(shū)記尹力：要緊盯市場(chǎng)趨勢(shì)，開(kāi)發(fā)出更多適合中國(guó)消費(fèi)者需求的車型 持續(xù)推進(jìn)穩(wěn)生產(chǎn)、穩(wěn)增長(zhǎng) | 今天 13:03 | 云財(cái)經(jīng) |
|
| 斯萊克在蘇州成立機(jī)器人公司 注冊(cè)資本1000萬(wàn) | 今天 12:08 | 云財(cái)經(jīng) |
|
| 居然智家接入DeepSeek，加速智能家居業(yè)務(wù)升級(jí) | 今天 09:58 | 云財(cái)經(jīng) |
|
| 聲波諧振器實(shí)現(xiàn)聲子間高保真量子糾纏 | 今天 07:22 | 云財(cái)經(jīng) |
|
| 接觸已斷 世衛(wèi)組織稱難獲美國(guó)禽流感疫情信息 | 今天 01:01 | 云財(cái)經(jīng) |
|
| 新版職業(yè)教育專業(yè)教學(xué)標(biāo)準(zhǔn)發(fā)布 明確中職校外實(shí)習(xí)不超過(guò)3個(gè)月 | 02-11 11:27 | 云財(cái)經(jīng) |
|
