官方网站-首页
寒武纪已适配 DeepSeek-V3.2-Exp,同步开源推理引擎 vLLM-MLU
【导语】9月30日,DeepSeek发布实验性版本DeepSeek-V3.2-Exp模型,寒武纪迅速宣布完成适配并开源相关引擎代码,凭借生态积累与技术优势实现新模型架构的快速适配与极致性能优化,携手为客户打造高竞争力软硬件方案。

9 月 30 日消息,DeepSeek 正式发布了 DeepSeek-V3.2-Exp 模型,这是一个实验性(Experimental)的版本。寒武纪也宣布,已同步实现对深度求索公司最新模型 DeepSeek-V3.2-Exp 的适配,并开源大模型推理引擎 vLLM-MLU 源代码。
寒武纪称,一直高度重视大模型软件生态建设,支持以 DeepSeek 为代表的所有主流开源大模型。借助于长期活跃的生态建设和技术积累,寒武纪得以快速实现对 DeepSeek-V3.2-Exp 这一全新实验性模型架构的 day 0 适配和优化。
针对本次的 DeepSeek-V3.2-Exp 新模型架构,寒武纪通过 Triton 算子开发实现了快速适配,利用 BangC 融合算子开发实现了极致性能优化,并基于计算与通信的并行策略,再次达成了业界领先的计算效率水平。依托 DeepSeek-V3.2-Exp 带来的全新 DeepSeek Sparse Attention 机(jī)制(zhì),叠(dié)加(jiā)寒(hán)武(wǔ)纪(jì)的(de)极(jí)致(zhì)计(jì)算(suàn)效(xiào)率(lǜ),可(kě)大(dà)幅(fú)降(jiàng)低(dī)长(zhǎng)序(xù)列(liè)场(chǎng)景(jǐng)下(xià)的(de)训(xun)推(tuī)成(chéng)本(běn),共(gòng)同(tóng)为(wèi)客(kè)户(hù)提(tí)供(gōng)极(jí)具(jù)竞(jìng)争(zhēng)力(lì)的(de)软(ruǎn)硬(yìng)件(jiàn)解(jiě)决(jué)方(fāng)案(àn)。
微信公众号搜索“ 新能源 ”加关注,最新环卫前沿洞察、企业动态、产品公告全面了解。推荐关注!
【微信扫描下方二维码可直接关注】



