首页|必读|视频|专访|运营|制造|监管|芯片|物联网|量子|低空经济|智能汽车|特约记者
手机|互联网|IT|5G|光通信|人工智能|云计算|大数据|报告|智慧城市|移动互联网|会展
首页 >> 移动互联网 >> 正文

DeepSeek论文斩获ACL 2025最佳论文,知乎掀起“稀疏注意力”解码潮

2025年8月1日 15:33  CCTIME飞象网  

近日举行的ACL 2025颁奖礼上,由DeepSeek与北京大学联合发表,并由梁文锋亲自“挂帅”的论文荣获最佳论文奖。该研究提出的原生稀疏注意力(NSA)机制,为自然语言处理领域的效率突破提供了新思路。此次DeepSeek斩获大奖,再度引发了学界对这一前沿技术的关注,而稀疏注意力一直是知乎上讨论的AI热点话题之一,众多AI开发者纷纷在知乎上解码一线科研成果,分享开发经验。

何为原生稀疏注意力机制?不少知乎答主以AI开发者身份充当“解码器”,以生活化的比喻科普专业技术概念。知乎答主李明殊将NSA机制比作去超市购物,“好比一个人去大超市买牙膏,传统方法是逐排浏览所有货柜;而NSA机制会做两件事:一是‘数据压缩’,先找到超市导览图确定日用品楼层,二是‘智能选择’,重点聚焦清洁洗护区”。他认为这种机制更像人类的思考过程,更加“类人”,能显著提升计算机训练和推理速度,降低成本,同时保持准确性。

更多一线从业者从专业技术角度深入阐释。复旦大学计算机技术硕士、知乎答主Nil-9解读了NSA的三个主要部件:压缩模块、Blockwise选择模块和滑动注意力,指出“NSA既包含了Memory compression的思路,在这个基础上又引入了稀疏化,并且还加入了位置先验的稀疏化(sliding component)”。计算机硬件从业者、知乎答主锤炼小助手则将NSA概括为:“一个针对transformer attention的、简单有效、高度硬件友好的token数量压缩算法”。

知乎上围绕稀疏注意力的专业讨论早有积累,且极具行业前瞻性。2024年,清华大学计算机系副教授、知乎答主刘知远团队发布大模型长文本理解方法InfLLM,其中涉及的NSA改进方案被DeepSeek此次论文引用。InfLLM项目参与者、知乎答主xcjthu也深度参与NSA讨论,并表示,“正如Deepseek-V3带给大家的震撼一样,我认为NSA的硬件亲和性是这篇论文最精彩的部分”。

除了高校研究项目,多家AI明星企业也相继发布了有关稀疏注意力的研究成果。微软亚研院高级研究员曹士杰分享了团队稀疏注意力相关的研发进展;月之暗面则发布了开源稀疏注意力框架MoBA。这些一线开发者不约而同选择知乎作为专业交流阵地,形成AI科研成果碰撞的独特场域。

自 2011年上线以来,知乎始终是科技领域的前沿讨论场,记录了不同技术周期下开发者的创新成果。随着AI时代的到来,大批AI开发者、从业者涌入并活跃于此。截至目前,知乎已聚集起1600万科技与AI领域持续学习者,356万科技与AI话题深度创作者,沉淀了858万个AI相关问题、2000多万个AI专业回答。知乎已然成为开发者首发项目、首谈方向、首秀成果的阵地,为AI前沿技术和应用提供了重要的创新窗口和趋势指引。

编 辑:T01
飞象网版权及免责声明:
1.本网刊载内容,凡注明来源为“飞象网”和“飞象原创”皆属飞象网版权所有,未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载,请必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和飞象网来源。
2.凡注明“来源:XXXX”的作品,均转载自其它媒体,在于传播更多行业信息,并不代表本网赞同其观点和对其真实性负责。
3.如因作品内容、版权和其它问题,请在相关作品刊发之日起30日内与本网联系,我们将第一时间予以处理。
本站联系电话为86-010-87765777,邮件后缀为cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
推荐新闻              
 
人物
中国电信柯瑞文:星辰智惠 共治共享
精彩视频
2025WAIC|探馆中国电信展台 AI全景图 满满“科技范儿”
中国电信总经理刘桂清:星辰智惠,共治共享,赋能产业变革新未来
中国电信柯瑞文:打造全方位人工智能动态防护体系,构建共创、共治、共享的产业生态
2025世界人工智能大会:才艺比拼、技能比武!机器人“大显身手”
精彩专题
2025世界人工智能大会暨人工智能全球治理高级别会议
2025中国联通合作伙伴大会
2025 MWC 上海
2025工业互联网大会
关于我们 | 广告报价 | 联系我们 | 隐私声明 | 本站地图
CCTIME飞象网 CopyRight © 2007-2024 By CCTIME.COM
京ICP备08004280号-1  电信与信息服务业务经营许可证080234号 京公网安备110105000771号
公司名称: 北京飞象互动文化传媒有限公司
未经书面许可,禁止转载、摘编、复制、镜像