北京2025年2月26日 /美通社/ -- 浪潮信息元腦R1推理服務器已完成對開源框架SGLang最新版本的深度適配，成功實現在單機高性能運行DeepSeek R1 671B模型時可最大支持超過1000路的用戶并發(fā)訪問。

DeepSeek R1參數量達到6710億，采用了MLA注意力機制和共享專家、路由專家共同組成的混合專家(MoE)架構，其創(chuàng)新的模型架構也帶來了在推理服務上的性能挑戰(zhàn)。浪潮信息團隊從AI服務器和推理框架入手開展了協(xié)同優(yōu)化工作。

元腦R1推理服務器NF5688G7原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術特征，在推理解碼階段可實現極致加速。在通信方面，GPU P2P帶寬達900GB/s，保障單機部署張量并行最佳通訊性能。

SGLang是新興的開源推理框架項目，其得到活躍的社區(qū)支持，并在工業(yè)界獲得了廣泛應用。SGlang的核心特性包括：快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關注的是，SGLang針對MLA注意力機制開展了針對性的工程優(yōu)化，并在框架上對MoE架構的推理做了優(yōu)化設計。SGLang也是最早適配DeepSeek v3和R1的優(yōu)選推理框架之一。

目前，元腦R1推理服務器 NF5688G7已完成SGLang最新版本 0.4.3的適配優(yōu)化工作。通過硬件調優(yōu)、算子優(yōu)化、混合并行、多token預測等多方面的工程實踐，在元腦R1推理服務器 NF5688G7上運行DeepSeek 671B R1模型，成功實現了單用戶解碼最高33 tokens/s及最大用戶并發(fā)超1000的優(yōu)異性能表現。

DeepSeek R1 671B是一個稀疏度較高的MoE架構模型，具有模型參數量大、計算量小的特點。和Dense模型相比，在滿足KV cache的顯存占用的前提下，可以支持更高的并發(fā)訪問需求。實測數據表明，基于單臺NF5688G7，在使用DeepSeek R1進行帶思維鏈深度思考的短輸入長輸出的問答場景下，使用100/1000作為輸入輸出長度，實測在單個用戶并發(fā)時的解碼性能為33.3tokens/s；在16個用戶并發(fā)時，每個用戶有約20 tokens/s的解碼性能；在64個用戶并發(fā)時，每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發(fā)訪問的極限測試時，單臺NF5688G7實現了3975.76 tokens/s的吞吐性能，可以滿足超高并發(fā)場景下多用戶使用需求。

浪潮信息團隊正與業(yè)內團隊密切合作，在計算架構、算子調優(yōu)、并行策略、框架適配、調度管理等多個方面持續(xù)發(fā)力，旨在為用戶帶來高性能、高效穩(wěn)定、性價比高的DeepSeek大模型部署服務方案，助力大模型快速落地應用。

浪潮信息是全球領先的IT基礎設施產品、方案和服務提供商，通過發(fā)展新一代以系統(tǒng)為核心的計算架構，打造開放、多元、綠色的元腦智算產品和方案。浪潮信息致力于AI計算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領先伙伴，加速人工智能的創(chuàng)新和應用落地。

【免責聲明】本文僅代表作者個人觀點，與云財經無關。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，云財經對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關內容。