在虚拟现实、元宇宙技术快速发展的背景下，三维虚拟内容创作的高成本与低效率问题一直是行业痛点。近日，浙江大学计算机科学与技术学院博士研究生、魔芯科技陈天润带领团队，依托浙江大学 鲲鹏昇腾科教创新卓越中心提供的算力支持，实现了基于昇腾平台NPU的首个三维模型生成算法模型Img2CAD的开发。
该研究成果的核心突破之一在于破解了用生成模型得到脚本语言对三维结构的精准表达，让稀疏抽象的草图、图片等多模态输入能被通过Transformer结构高效 “翻译” 为三维几何信息，不需要可微渲染器，能够完整在NPU上实现训练和高效推理，无需大量Vector算力——并最终得到能被3D打印、CNC制造加工、数字世界展览展示的高精度3D模型，可直接导入现有CAD软件中进行编辑。其中昇腾加速套件MindSpeed提供了关键支撑，该工具支持多类型数据加载构建，可灵活适配多模态数据的异构特征，保障了视觉大模型与脚本语言表示模块的高效协同。
与此同时，通过算法模型结构的优化，团队实现了三维生成的即时交互建模。CANN算子库能充分发挥NPU 的并行计算能力和高效内存访问机制，能大幅减少计算延迟和通信开销，进一步提升模型推理速度，使系统能够快速响应用户输入的草图或图片，为实际落地场景中构建流畅的实时 3D 交互建模体验提供了坚实的技术保障。
该项目开发的三维生成方法能够用于3D数据资产的构建，并服务于KOKONI 3D打印机等应用场景，为数字制造、AR/VR相关产业提供了高效的内容创作解决方案。目前，项目已完成3篇成果论文，包括1篇中科院1区期刊论文和2篇CCF-A类会议论文，相关成果已在部分场景实现商业化落地，并将持续带动昇腾的澎湃算力在三维数字化产业应用。
此次跨模态可控三维生成技术的突破，不仅是浙江大学 鲲鹏昇腾科教创新卓越中心在产学研融合上的一次成功实践，更标志着智能三维内容创作迈入“低门槛、高效率、高质量”的新阶段。未来，随着技术的持续迭代，Img2CAD相关模型将为工业设计、数字文创、AR/VR等千行百业注入创意动能，推动虚拟与现实世界的融合边界不断拓展。
