歡迎登錄浙江旭鑫信息系統(tǒng)有限公司網(wǎng)站，供應(yīng)戴爾服務(wù)器、超聚變服務(wù)器、H3C服務(wù)器等。定制解決方案。 網(wǎng)站地圖 | 戴爾服務(wù)器 | 超聚變服務(wù)器
- $
浪潮元腦R1服務(wù)器適配新開源框架,單機(jī)DeepSeek 671B并發(fā)過千
來源：m.raylicn.cn 發(fā)布時(shí)間：2025年02月22日
浪潮信息元腦R1推理服務(wù)器已完成對開源框架SGLang新版本的深度適配,成功實(shí)現(xiàn)在單機(jī)高性能運(yùn)行DeepSeek R1 671B模型時(shí)可支持超過1000路的用戶并發(fā)訪問。
浪潮元腦R1推理服務(wù)器NF5688G7原生搭載FP8計(jì)算引擎,針對DeepSeek R1 671B模型部署速度快且無精度損失,1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求,單機(jī)支持全量模型推理情況下,仍保留充足的KV緩存空間。顯存帶寬高達(dá)4.8TB/s,契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征,在推理解碼階段可實(shí)現(xiàn)加速。在通信方面,GPU P2P帶寬達(dá)900GB/s,保障單機(jī)部署張量并行通訊性能。
SGLang是新興的開源推理框架項(xiàng)目,其得到活躍的社區(qū)支持,并在工業(yè)界獲得了廣泛應(yīng)用。SGlang的核心特性包括:快速的后端運(yùn)行時(shí)、靈活的前端語言、廣泛的模型支持等。尤其值得關(guān)注的是,SGLang針對MLA注意力機(jī)制開展了針對性的工程優(yōu)化,并在框架上對MoE架構(gòu)的推理做了優(yōu)化設(shè)計(jì)。SGLang也是適配DeepSeek v3和R1的推理框架之一。
目前,浪潮元腦R1推理服務(wù)器 NF5688G7已完成SGLang新版本 0.4.3的適配優(yōu)化工作。通過硬件調(diào)優(yōu)、算子優(yōu)化、混合并行、多token預(yù)測等多方面的工程實(shí)踐,在元腦R1推理服務(wù)器 NF5688G7上運(yùn)行DeepSeek 671B R1模型,成功實(shí)現(xiàn)了單用戶解碼33 tokens/s及用戶并發(fā)超1000的性能表現(xiàn)。
上一條
浪潮NF5468G7服務(wù)器是具備多元算力性能、彈性架構(gòu)擴(kuò)展的全新一代人工智能服務(wù)器
下一條
筑夢前行?創(chuàng)啟未來 浙江旭鑫|華鑫時(shí)代FY24工作總結(jié)暨FY25規(guī)劃圓滿落幕！
返回列表
【相關(guān)文章】
【相關(guān)產(chǎn)品】
產(chǎn)品推薦
-
微信二維碼 -
手機(jī)訪問
版權(quán)聲明：本網(wǎng)站所刊內(nèi)容未經(jīng)本網(wǎng)站及作者本人許可，不得下載、轉(zhuǎn)載或建立鏡像等，違者本網(wǎng)站將追究其法律責(zé)任。本網(wǎng)站所用文字圖片部分來源于公共網(wǎng)絡(luò)或者素材網(wǎng)站，凡圖文未署名者均為原始狀況，但作者發(fā)現(xiàn)后可告知認(rèn)領(lǐng)，我們?nèi)詴皶r(shí)署名或依照作者本人意愿處理，如未及時(shí)聯(lián)系本站，本網(wǎng)站不承擔(dān)任何責(zé)任。