DeepSeek開源第四彈“教”優(yōu)化 梁文鋒參與研發(fā)
2025-02-27 15:21
來源: 云財經(jīng)
影響力評估指數(shù)：19.89
云財經(jīng)訊，DeepSeek開源周(OpenSourceWeek)第四彈來了，DeepSeek于2月27日在X上宣布這次開源的是三項優(yōu)化并行策略，并在Github上詳細展開了DeepSeek-V3和R1模型背后的并行計算優(yōu)化技術(shù)，通過這些闡述可以清晰了解團隊是如何精細地優(yōu)化計算和通信，最大限度利用GPU能力的。這三項優(yōu)化并行策略其中包括DualPipe，這是一種用于V3/R1模型訓(xùn)練中計算與通信重疊的雙向流水線并行算法，這種算法能夠完全重疊前向和后向計算通信階段，與傳統(tǒng)方法相比減少了“流水線氣泡”(設(shè)備在某些時刻的空閑等待)。 在DualPipe的開發(fā)團隊署名中，包括創(chuàng)始人梁文鋒。 (第一財經(jīng))
| 新聞標題 | 時間 | 消息來源 | 新聞熱度 |
|---|---|---|---|
| 亞信科技助力廣東聯(lián)通全面接入DeepSeek，以國產(chǎn)AI賦能灣區(qū)轉(zhuǎn)型 | 今天 17:16 | 商業(yè)新聞 |
|
| 40名中國籍偷渡人員從泰國被遣返回國 | 今天 14:02 | 云財經(jīng) |
|
| 恒生指數(shù)開盤跌0.02% | 今天 09:24 | 云財經(jīng) |
|
| 恒潤股份：5%以上股東承立新所持1280萬股將被司法拍賣 | 02-26 17:22 | 云財經(jīng) |
|
| 水利部小浪底水利樞紐管理中心原主任殷保合接受審查調(diào)查 | 02-26 08:24 | 云財經(jīng) |
|
| 2連板智慧農(nóng)業(yè)：東銀控股、江動集團的重整進程及能否重整成功存在不確定性 | 02-25 18:50 | 云財經(jīng) |
|
