北京2024年12月23日 /美通社/ -- 在當(dāng)今數(shù)字化浪潮洶涌澎湃的時(shí)代背景下，大模型技術(shù)猶如一顆璀璨的明星，照亮了科技發(fā)展的廣闊蒼穹，而存儲(chǔ)技術(shù)的變革，作為這一進(jìn)程中的堅(jiān)實(shí)基石，正日益成為產(chǎn)業(yè)界與學(xué)術(shù)界共同矚目的核心焦點(diǎn)。

為此，浪潮信息聯(lián)合DOIT推出《有數(shù)?高端對(duì)話(huà)》欄目，分布式存儲(chǔ)產(chǎn)品線(xiàn)總經(jīng)理姜樂(lè)果及DOIT傳媒主編李祥敬，與特邀嘉賓上海交通大學(xué)吳晨濤和中科聞歌陳思含共同圍繞大模型的存儲(chǔ)需求變化，展開(kāi)了一場(chǎng)深度對(duì)話(huà)。深入探討大模型時(shí)代背景下數(shù)據(jù)存儲(chǔ)的變革之道，共話(huà)數(shù)字經(jīng)濟(jì)的創(chuàng)新發(fā)展，進(jìn)一步夯實(shí)數(shù)據(jù)基礎(chǔ)設(shè)施，充分釋放數(shù)據(jù)資源的巨大價(jià)值，為廣大行業(yè)同仁及用戶(hù)提供價(jià)值參考與啟示。

大模型驅(qū)動(dòng)存儲(chǔ)變革

大模型技術(shù)的迅猛發(fā)展對(duì)存儲(chǔ)系統(tǒng)提出了極為嚴(yán)苛的要求。以GPT-4為例，其參數(shù)量達(dá)到了2200億，每張GPU配備的HBM顯存帶寬達(dá)1.6TB/s，整體訓(xùn)練所需的顯存容量接近400TB。根據(jù)Meta等公司的調(diào)研數(shù)據(jù)顯示，大模型在運(yùn)行過(guò)程中會(huì)頻繁遭遇內(nèi)存故障，平均每2-3小時(shí)便可能導(dǎo)致一次訓(xùn)練中斷，這無(wú)疑對(duì)存儲(chǔ)系統(tǒng)的安全可靠性提出了極高的標(biāo)準(zhǔn)。吳晨濤教授以GPT-4等前沿模型作為實(shí)例，清晰闡明了大容量HBM顯存、高帶寬以及高可靠性是存儲(chǔ)系統(tǒng)不可或缺的三大核心特性。

同時(shí)，從宏觀角度出發(fā)，吳教授呼吁建立開(kāi)放的數(shù)據(jù)生態(tài)。在這一生態(tài)中，通過(guò)強(qiáng)化監(jiān)管與隱私保護(hù)，旨在打破數(shù)據(jù)孤島，促進(jìn)數(shù)據(jù)的流動(dòng)與共享，為高質(zhì)量數(shù)據(jù)的充分涌流開(kāi)辟道路，從而為行業(yè)大模型的發(fā)展提供持續(xù)不斷的動(dòng)力。

作為存儲(chǔ)廠商的代表，姜樂(lè)果從存儲(chǔ)技術(shù)進(jìn)化的視角出發(fā)，詳細(xì)闡述了在大模型驅(qū)動(dòng)下，傳統(tǒng)計(jì)算與當(dāng)前智算中心存儲(chǔ)設(shè)施的全方位變革。在性能層面，智算中心對(duì)存儲(chǔ)性能的要求已從百GB級(jí)躍遷至TB級(jí)，與算力協(xié)同攀升；在容量維度，存儲(chǔ)系統(tǒng)已從PB級(jí)大步邁向EB級(jí)，輕松應(yīng)對(duì)海量數(shù)據(jù)洪流的沖擊。同時(shí)，數(shù)據(jù)格式與協(xié)議的多元化與復(fù)雜性日益顯著，這對(duì)存儲(chǔ)系統(tǒng)突破兼容壁壘提出了迫切需求。

姜樂(lè)果還展示了企業(yè)在數(shù)據(jù)要素市場(chǎng)的積極布局與創(chuàng)新探索。浪潮信息緊跟政策導(dǎo)向，與多方合作伙伴攜手，深入挖掘行業(yè)需求，精心研發(fā)端到端的解決方案及高性能存儲(chǔ)新品。例如，新一代分布式存儲(chǔ)平臺(tái)AS13000G7系列產(chǎn)品在MLPerf? AI存儲(chǔ)基準(zhǔn)評(píng)測(cè)中表現(xiàn)出色，在3D-UNet(醫(yī)學(xué)圖像分割)和CosmoFlow(宇宙學(xué)參數(shù)預(yù)測(cè))兩個(gè)應(yīng)用場(chǎng)景共計(jì)8項(xiàng)測(cè)試中，斬獲5項(xiàng)全球第一，彰顯強(qiáng)大的性能實(shí)力，為行業(yè)大模型數(shù)據(jù)存儲(chǔ)難題提供有力支撐。

中科聞歌作為一家專(zhuān)注于復(fù)雜數(shù)據(jù)解析和AI輔助決策的人工智能公司，陳思含分享了中科聞歌在大模型實(shí)踐中的寶貴經(jīng)驗(yàn)。在大模型的發(fā)展歷程中，存儲(chǔ)需求經(jīng)歷了顯著的動(dòng)態(tài)演變：從早期對(duì)訓(xùn)練速度的追求導(dǎo)致存儲(chǔ)性能需求激增，到參數(shù)量膨脹帶來(lái)的數(shù)據(jù)量與參數(shù)規(guī)模指數(shù)級(jí)增長(zhǎng)，再到多模態(tài)數(shù)據(jù)處理對(duì)存儲(chǔ)復(fù)雜性的嚴(yán)格要求，以及混合讀寫(xiě)模式和多樣化應(yīng)用場(chǎng)景引發(fā)的多元化需求。

數(shù)據(jù)質(zhì)量作為行業(yè)大模型發(fā)展的核心驅(qū)動(dòng)力，中科聞歌在此方面進(jìn)行了創(chuàng)新實(shí)踐。集成了全球多語(yǔ)言媒體數(shù)據(jù)的聞海大數(shù)據(jù)平臺(tái)，運(yùn)用跨模態(tài)AI技術(shù)融合信息，構(gòu)建了垂直領(lǐng)域知識(shí)庫(kù)，并提供模塊化的智能大屏工具。這一平臺(tái)不僅具備全球范圍內(nèi)高效、安全獲取和處理高質(zhì)量數(shù)據(jù)的能力，還成為訓(xùn)練大模型所需高質(zhì)量數(shù)據(jù)的主要數(shù)據(jù)源和知識(shí)庫(kù)。

在為客戶(hù)提供大模型落地產(chǎn)品和系統(tǒng)時(shí)，中科聞歌采取了混合模式，即結(jié)合公司自身海量數(shù)據(jù)與用戶(hù)的私有行業(yè)數(shù)據(jù)進(jìn)行模型訓(xùn)練和應(yīng)用構(gòu)建，確保了客戶(hù)的數(shù)據(jù)安全，避免了數(shù)據(jù)出域的風(fēng)險(xiǎn)。

協(xié)同創(chuàng)新下的趨勢(shì)展望

展望未來(lái)存儲(chǔ)發(fā)展，吳晨濤教授立足學(xué)術(shù)前沿，前瞻性地預(yù)判了關(guān)鍵技術(shù)走向。他認(rèn)為，跨域資源調(diào)度共享技術(shù)，特別是基于CXL協(xié)議的內(nèi)存池創(chuàng)新，將打破資源限制，實(shí)現(xiàn)全域資源的靈動(dòng)調(diào)配。同時(shí)，優(yōu)化元數(shù)據(jù)管理將提升數(shù)據(jù)檢索與處理效率，而內(nèi)存故障預(yù)測(cè)及Checkpointing技術(shù)則能確保系統(tǒng)穩(wěn)定運(yùn)行，最大限度地減少故障對(duì)數(shù)據(jù)處理連續(xù)性和完整性的影響。這些技術(shù)的迭代升級(jí)將為存儲(chǔ)技術(shù)的發(fā)展指明方向。

作為存儲(chǔ)廠商的代表，浪潮信息積極擁抱變革，從Storage for AI深度適配需求，到AI for Storage智能賦能提效，再到與大模型企業(yè)緊密合作，精準(zhǔn)挖掘系統(tǒng)性能潛能，為用戶(hù)提供更貼合業(yè)務(wù)的產(chǎn)品。

作為大模型企業(yè)的代表，中科聞歌致力于打造高效、安全和可靠的存儲(chǔ)系統(tǒng)，以適應(yīng)大模型時(shí)代的新要求。在架構(gòu)上，采用存算分離架構(gòu)部署AI-Ready數(shù)據(jù)基礎(chǔ)設(shè)施，以加速智能應(yīng)用。在效率提升方面，全閃存存儲(chǔ)憑借其卓越性能成為破局關(guān)鍵，能夠加速數(shù)據(jù)流轉(zhuǎn)，激活數(shù)據(jù)價(jià)值。而在安全防護(hù)層面，中科聞歌構(gòu)建主動(dòng)防御體系，從內(nèi)核強(qiáng)化存儲(chǔ)安全，筑牢安全防線(xiàn)。

此次對(duì)話(huà)欄目的成功舉辦，不僅搭建了產(chǎn)學(xué)研用之間的溝通橋梁，還為各方的深度合作提供了寶貴的機(jī)會(huì)。各方代表能夠相互交流思想、碰撞火花，共同探討大模型時(shí)代下的存儲(chǔ)技術(shù)變革。這一舉措為產(chǎn)學(xué)研用四方攜手共進(jìn)創(chuàng)造了難得契機(jī)，共同迎接大模型時(shí)代帶來(lái)的存儲(chǔ)變革浪潮，推動(dòng)我國(guó)存儲(chǔ)產(chǎn)業(yè)的繁榮發(fā)展。

【免責(zé)聲明】本文僅代表作者個(gè)人觀點(diǎn)，與云財(cái)經(jīng)無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，云財(cái)經(jīng)對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。