北京2024年8月23日 /美通社/ -- 近日，浪潮信息發(fā)布源2.0-M32大模型4bit和8bit量化版，性能比肩700億參數(shù)的LLaMA3開源大模型。4bit量化版推理運(yùn)行顯存僅需23.27GB，處理每token所需算力約為1.9 GFLOPs，算力消耗僅為同等當(dāng)量大模型LLaMA3-70B的1/80。而LLaMA3-70B運(yùn)行顯存為160GB，所需算力為140GFLOPs。

源2.0-M32量化版是"源"大模型團(tuán)隊(duì)為進(jìn)一步提高模算效率，降低大模型部署運(yùn)行的計(jì)算資源要求而推出的版本，通過采用領(lǐng)先的量化技術(shù)，將原模型精度量化至int4和int8級別，并保持模型性能基本不變。源2.0-M32量化版提高了模型部署加載速度和多線程推理效率，在不同硬件和軟件環(huán)境中均能高效運(yùn)行，降低了模型移植和部署門檻，讓用戶使用更少的計(jì)算資源，就能獲取源2.0-M32大模型的強(qiáng)大能力。

源2.0-M32大模型是浪潮信息"源2.0"系列大模型的最新版本，其創(chuàng)新性地提出和采用了"基于注意力機(jī)制的門控網(wǎng)絡(luò)"技術(shù)，構(gòu)建包含32個(gè)專家(Expert)的混合專家模型(MoE)，模型運(yùn)行時(shí)激活參數(shù)為37億，在業(yè)界主流基準(zhǔn)評測中性能全面對標(biāo)700億參數(shù)的LLaMA3開源大模型，大幅提升了模型算力效率。

模型量化(Model Quantization)是優(yōu)化大模型推理的一種主流技術(shù)，它顯著減少了模型的內(nèi)存占用和計(jì)算資源消耗，從而加速推理過程。然而，模型量化可能會影響模型的性能。如何在壓縮模型的同時(shí)維持其精度，是量化技術(shù)面臨的核心挑戰(zhàn)。

源2.0-M32大模型研發(fā)團(tuán)隊(duì)深入分析當(dāng)前主流的量化方案，綜合評估模型壓縮效果和精度損失表現(xiàn)，最終采用了GPTQ量化方法，并采用AutoGPTQ作為量化框架。為了確保模型精度最大化，一方面定制化適配了適合源2.0-M32結(jié)構(gòu)的算子，提高了模型的部署加載速度和多線程推理效率，實(shí)現(xiàn)高并發(fā)推理；另一方面對需要量化的中間層(inter_layers)進(jìn)行了嚴(yán)格評估和篩選，確定了最佳的量化層。從而成功將模型精度量化至int4和int8級別，在模型精度幾乎無損的前提下，提升模型壓縮效果、增加推理吞吐量和降低計(jì)算成本，使其更易于部署到移動(dòng)設(shè)備和邊緣設(shè)備上。

評測結(jié)果顯示，源2.0-M32量化版在多個(gè)業(yè)界主流的評測任務(wù)中性能表現(xiàn)突出，特別是在MATH(數(shù)學(xué)競賽)、ARC-C(科學(xué)推理)任務(wù)中，比肩擁有700億參數(shù)的LLaMA3大模型。

總之，源2.0-M32大模型量化版在保持推理性能的前提下，顯著降低了計(jì)算資源消耗和內(nèi)存占用，其采用的GPTQ量化方法通過精細(xì)調(diào)整，成功將模型適配至int4和int8精度級別。通過定制化算子優(yōu)化，源2.0-M32量化版實(shí)現(xiàn)了模型結(jié)構(gòu)的深度適配和性能的顯著提升，確保在不同硬件和軟件環(huán)境中均能高效運(yùn)行。未來，隨著量化技術(shù)的進(jìn)一步優(yōu)化和應(yīng)用場景的拓展，源2.0-M32量化版有望在移動(dòng)設(shè)備和邊緣計(jì)算等領(lǐng)域發(fā)揮更廣泛的作用，為用戶提供更高效的智能服務(wù)。

源2.0-M32量化版已開源，下載鏈接如下：

Hugging Face平臺下載鏈接：

https://huggingface.co/IEITYuan/Yuan2-M32-gguf-int4

https://huggingface.co/IEITYuan/Yuan2-M32-hf-int4

https://huggingface.co/IEITYuan/Yuan2-M32-hf-int8

modelscope平臺下載鏈接：

https://modelscope.cn/models/IEITYuan/Yuan2-M32-gguf-int4

https://modelscope.cn/models/IEITYuan/Yuan2-M32-HF-INT4

https://modelscope.cn/models/IEITYuan/Yuan2-M32-hf-int8

【免責(zé)聲明】本文僅代表作者個(gè)人觀點(diǎn)，與云財(cái)經(jīng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，云財(cái)經(jīng)對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實(shí)相關(guān)內(nèi)容。