强化学习(RL)领域再迎技术革新。继上周发布大模型慢思考推理技术获系列成果之后，九章云极DataCanvas联合研究团队再次发布新一代AI强化学习框架R1-Searcher及全链路工程代码。
近日，中国人民大学STILL项目团队、九章云极DataCanvas研究人员联合发布新技术论文称，提出了一种全新的强化学习方法R1-Searcher。据官方论文介绍，这是一种用于AI大型语言模型(LLMs)可自主调用外部搜索系统且可通过模型自我学习进行训练的强化学习(RL)方法，通过两阶段奖励机制(何时检索 + 如何利用)解决了现有模型处理知识密集型问题时的不足，在多跳问答、实时信息处理等场景展现出颠覆性潜力。
据公开资料显示，九章云极创始人方磊以联合研究者身份参与论文。该框架开源代码在GitHub上一经发布，引发AI界高度关注。
九章云极DataCanvas联合研究团队公布了该框架全参数开源方案，完整开放了从模型训练到推理部署的全链路工程代码，同步公开实践验证过的技术实例，为开发者提供可直接部署的工业化级大模型训练框架。论文实验结果显示，相比于最好的基线ReARTeR，R1-Searcher在2WikiMultiHopQA上提升了21.7%，在Bamboogle上准确率提升4.0个百分点(LLM-as-Judge评测集)。
该框架开源代码在GitHub上一经发布，引发了“模型框架与工程化部署”的深度探讨。讨论热点围绕论文公开的规模化部署方法——九章云极DataCanvas AIaya NeW智算操作系统支持的一键构建“检索-推理-反馈”闭环系统，通过将动态检索能力深度植入大型语言模型(LLMs)的推理本能;并通过全链路优化实现动态知识更新与实时性能调优，从根本上解决了域外/域内数据难度分布和数据多样性对训练的影响，在提高推理速度的同时、降低预训练成本，而不会牺牲性能方面起到关键贡献，使该R1-Searcher模型能够直接处理代码仓库或多轮对话(如客服场景)，扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。
九章云极DataCanvas研究团队这一“对症下药”式创新性设计，不仅解决了大模型知识时效性问题，更通过强化学习实现了检索策略的自主优化，在经济层面实现低成本高性能。有AI技术专家认为，该算法为垂直领域大模型开发提供了新范式，未来或催生更多实时智能应用。对于AI应用企业而言，这不仅意味着更准确的搜索结果，更代表着一种企业自主可运营的AI基础设施——像“水电煤”一样实时适配业务变化。
公开资料显示，RL(即Reinforcement Learning，强化学习)是一种通过智能体与环境的交互来学习最优策略的机器学习方法。RAG(即Retrieval Augmented Generation，检索增强生成)是将大量外部数据与基础模型相结合，进而增强了大语言模型(LLMs)的能力。
