昇腾0Day支持DeepSeek-V3.2-Exp

2025年9月29日，DeepSeek-V3.2-Exp发布并开源，引入稀疏Attention架构。昇腾已快速基于vLLM/SGLang等推理框架完成适配部署，实现DeepSeek-V3.2-Exp 0day支持，并面向开发者开源所有推理代码和算子实现。

昇腾0Day适配和参考实践

昇腾在DeepSeek-V3.2-Exp一发布开源即实现了DeepSeek-V3.2-Exp BF16模型部署，并在CANN平台上完成对应的优化适配，整体部署策略沿用DeepSeek的大EP并行方案，针对稀疏DSA结构，叠加实现长序列亲和的CP并行策略，兼顾时延和吞吐，在128K长序列下能够保持TTFT低于2秒、TPOT低于30毫秒的推理生成速度。

NPU DeepSeek-V3.2-Exp推理优化实践：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对DeepSeek-V3.2-Exp架构中两个全新的算子：Lightning Indexer (LI) 以及Sparse Flash Attention (SFA)，针对性地进行算子Tiling设计、Cube核与 Vector核间的流水优化、计算流程的实现优化等，模型和融合Kernel均已开源。

NPU DeepSeek-V3.2-Exp Ascend C融合算子优化：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾融合算子的编程易用性，昇腾CANN首次推出大融合算子的编程体系PyPTO，旨在简化算子开发流程，同时保持高性能计算能力。该框架创新性地采用PTO(Parallel Tensor/Tile Operation)编程范式，以Tensor为基本数据表达方式，构建计算图，实现高效计算与优化。目前在昇腾上已经基于PyPTO完成DeepSeek-V3.2-Exp模型中DeepSeek Indexer Attention和Lightning indexer算子的开发实践，仅需几百行代码即可完成动态Shape算子编程和算子整网运行。

基于PyPTO的Lightning Indexer和DeepSeek Indexer Attention算子开发实践：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

在昇腾上基于vLLM、SGLang推理框架部署和TileLang算子编程实践

昇腾不仅提供了DeepSeek-V3.2-Exp的官方参考实践，也同步支持vLLM和SGLang等业界主流大模型推理框架部署，提供完整功能，能够让广泛的开发者在社区直接下载相关代码体验DeepSeek-V3.2-Exp模型，可以在昇腾实现融合算子、稀疏访存、多核并行计算等深度优化能力，并持续优化DeepSeek-V3.2-Exp在主流社区的推理性能。

大模型推理框架vLLM及昇腾实现：

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模型推理框架SGLang及昇腾实现：

https://github.com/sgl-project/sglang/issues/11060

TileLang是由Tile-AI社区发起的Tile-level的类Python的AI编程语言（DSL）项目，在Tile粒度上进行编程和编译，实现模型算子和硬件的高效协同。昇腾已经实现TileLang的Sparse Flash Attention和Lightning Indexer算子开发，后续将支持更完备的NPU算子并提升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang算子开发实践：

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend开源社区：

https://github.com/tile-ai/tilelang-ascend

昇腾凭借敏捷协同优化能力，0Day高效完成DeepSeek-V3.2-Exp适配，不仅深度开放自研编程语言AscendC及PyTorch算子源码，也积极拥抱开源生态，同步实现vLLM、SGLang等主流框架的快速支持，并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。我们诚挚期待全球开发者加入昇腾社区，基于昇腾软硬件平台进行研究和创新，在Agent AI、内容理解等长文本新应用场景带来更好的用户体验，携手推进AI产业迈向新高度。