首页|必读|视频|专访|运营|制造|监管|芯片|物联网|量子|低空经济|智能汽车|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|大数据|报告|智慧城市|移动互联网|会展
首页 >> 移动互联网 >> 正文

昇腾0Day支持DeepSeek-V3.2-Exp

2025年9月29日 21:30  CCTIME飞象网  

2025年9月29日,DeepSeek-V3.2-Exp发布并开源,引入稀疏Attention架构。昇腾已快速基于vLLM/SGLang等推理框架完成适配部署,实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现。

昇腾0Day适配和参考实践

昇腾在DeepSeek-V3.2-Exp一发布开源即实现了DeepSeek-V3.2-Exp BF16模型部署,并在CANN平台上完成对应的优化适配,整体部署策略沿用DeepSeek的大EP并行方案,针对稀疏DSA结构,叠加实现长序列亲和的CP并行策略,兼顾时延和吞吐,在128K长序列下能够保持TTFT低于2秒、TPOT低于30毫秒的推理生成速度。

NPU DeepSeek-V3.2-Exp推理优化实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对DeepSeek-V3.2-Exp架构中两个全新的算子:Lightning Indexer (LI) 以及Sparse Flash Attention (SFA),针对性地进行算子Tiling设计、Cube核与 Vector核间的流水优化、计算流程的实现优化等,模型和融合Kernel均已开源。

NPU DeepSeek-V3.2-Exp Ascend C融合算子优化:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾融合算子的编程易用性,昇腾CANN首次推出大融合算子的编程体系PyPTO,旨在简化算子开发流程,同时保持高性能计算能力。该框架创新性地采用PTO(Parallel Tensor/Tile Operation)编程范式,以Tensor为基本数据表达方式,构建计算图,实现高效计算与优化。目前在昇腾上已经基于PyPTO完成DeepSeek-V3.2-Exp模型中DeepSeek Indexer Attention和Lightning indexer算子的开发实践,仅需几百行代码即可完成动态Shape算子编程和算子整网运行。

基于PyPTO的Lightning Indexer和DeepSeek Indexer Attention算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

在昇腾上基于vLLM、SGLang推理框架部署和TileLang算子编程实践

昇腾不仅提供了DeepSeek-V3.2-Exp的官方参考实践,也同步支持vLLM和SGLang等业界主流大模型推理框架部署,提供完整功能,能够让广泛的开发者在社区直接下载相关代码体验DeepSeek-V3.2-Exp模型,可以在昇腾实现融合算子、稀疏访存、多核并行计算等深度优化能力,并持续优化DeepSeek-V3.2-Exp在主流社区的推理性能。

大模型推理框架vLLM及昇腾实现:

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模型推理框架SGLang及昇腾实现:

https://github.com/sgl-project/sglang/issues/11060

TileLang是由Tile-AI社区发起的Tile-level的类Python的AI编程语言(DSL)项目,在Tile粒度上进行编程和编译,实现模型算子和硬件的高效协同。昇腾已经实现TileLang的Sparse Flash Attention和Lightning Indexer算子开发,后续将支持更完备的NPU算子并提升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend开源社区:

https://github.com/tile-ai/tilelang-ascend

昇腾凭借敏捷协同优化能力,0Day高效完成DeepSeek-V3.2-Exp适配,不仅深度开放自研编程语言AscendC及PyTorch算子源码,也积极拥抱开源生态,同步实现vLLM、SGLang等主流框架的快速支持,并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。我们诚挚期待全球开发者加入昇腾社区,基于昇腾软硬件平台进行研究和创新,在Agent AI、内容理解等长文本新应用场景带来更好的用户体验,携手推进AI产业迈向新高度。

编 辑:T01
飞象网版权及免责声明:
1.本网刊载内容,凡注明来源为“飞象网”和“飞象原创”皆属飞象网版权所有,未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载,请必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和飞象网来源。
2.凡注明“来源:XXXX”的作品,均转载自其它媒体,在于传播更多行业信息,并不代表本网赞同其观点和对其真实性负责。
3.如因作品内容、版权和其它问题,请在相关作品刊发之日起30日内与本网联系,我们将第一时间予以处理。
本站联系电话为86-010-87765777,邮件后缀为cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
推荐新闻              
 
人物
中国移动黄宇红:量通智融合创新的探索、实践与思考
精彩视频
亨通光电精彩亮相2025通信展丨浸没式液冷一体机 直击高密度计算场景痛点
亨通数科精彩亮相2025通信展丨“工业互联网+AI”智能制造解决方案 赋能行业数智化转型
你少做,它多做,在2025骁龙峰会 中国站找寻下一场终端变革的神秘元素
中国信科集团精彩亮相2025通信展丨空天地一体,全域智联未来
精彩专题
2025中国国际信息通信展览会
中国信科精彩亮相2025中国国际信息通信展
第26届中国国际光电博览会
2025中国算力大会
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2025 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像