必读视频专题飞象趣谈光通信人工智能低空经济5G手机智能汽车智慧城市会展特约记者

​当AI智能体成为企业员工,谁来管控它们的行为?

2026年6月16日 10:09CCTIME飞象网

AI智能体成为企业员工,谁来管控它们的行为?

随着AI在企业运营中的不断深入,智能体已经可以在一些应用场景中承担员工的角色。设想一支销售运营团队,他们构建了一个AI智能体来处理客户续约请求。智能体读取客户来信,在CRM中查询账户记录,查阅合同条款,起草回复,更新商机阶段,并创建跟进任务。在这个当下看似普通的工作流之下,有些重要的事情已经悄然改变。

这个智能体不只是在生成文字。它在读取业务数据,使用凭证,调用工具,修改企业系统。它能访问私有信息,暴露于不可信内容之中,还能通过邮件和工作流向外通信。这不是实验室里的技术演示,而是正在企业中大规模发生的现实。

致命三角:为什么智能体安全是一个全新的问题

Django框架联合创始人、知名技术博主Simon Willison将这一模式称为AI智能体的"致命三角":私有数据、不可信输入,以及对外通信。AI智能体之所以有用,正是因为它将这三个要素汇聚在了一起。而这,也正是它从根本上改变安全模型的原因。

“AI助手建议下一步该做什么,AI智能体直接去做。”这一句话,道出了安全挑战的本质转变。过去,安全团队的问题是"员工是否在恰当地使用AI"。现在,问题变成了:智能体在哪里运行,谁可以访问它,它能触及什么,可以调用哪些工具,以及每一个行动在发生之前是否安全。

AI应用规模化落地

这不是面向未来的预警,而是当下正在发生的现实。

中国互联网络信息中心数据显示,截至2025年底,中国生成式AI用户规模已达6.02亿,同比增长142%。与此同时,中国日均Token调用量已超140万亿,两年内增长超过千倍。AI已深度嵌入企业日常运营,智能体化正成为这一进程的下一阶段。

Check Point《2026年云安全报告》呈现了这一趋势的具体规模:64%的企业已在试点或生产环境中部署了AI智能体,12%已向智能体授予对核心系统的访问权限。智能体安全,已不再是供未来规划讨论的话题,而是一个当下亟需解决的生产治理问题。

多种风险模式已在真实场景中出现

当智能体获得访问数据、调用工具、修改系统的能力,风险随之以具体的形式呈现。

指令被操控是最直接的威胁。提示词注入利用的是智能体将不可信内容作为工作一部分来处理的特性——邮件、文档、网页、工单。如果智能体无法区分数据与指令,一个隐藏在普通邮件中的恶意指令,就可能将整个任务重定向。续约智能体读取客户来信,如果某封邮件携带了隐藏指令,要求它检索不相关的账户数据并发送到外部,对人类读者而言那只是邮件内容,对智能体来说却可能是一条待执行的命令。

敏感数据移动是第二类风险。智能体可能将专有数据、凭证、个人隐私信息或受监管信息带入提示词、工具调用和外部系统。泄露往往隐藏在一个逐步看来合理的工作流之中,等到发现时,数据早已离开了企业边界。

工具被不当使用是第三类风险。工具本身合规,智能体也有权限使用,问题在于它以错误的理由、在错误的时间、超出任务范围使用了正确的工具。这类风险传统权限管控很难识别,因为从访问控制的角度看,一切都在允许范围之内。

组件风险随着智能体架构的复杂化而加剧。智能体由模型、提示词、工具、连接器、API和外部内容源组装而成,一个新接入的工具或被攻陷的组件,可以悄然改变智能体的风险画像,即便智能体本身看起来行为正常。

这些风险指向同一个结论:传统的最小权限管控能够告诉你智能体被允许访问什么,却无法回答一个更关键的运行时判断问题,那就是这一次工具调用,在这个上下文中,针对这个任务,究竟该不该发生?

运行时是真正的管控点

安全必须在风险决策发生的地方介入,而不是在损失发生后才响应。

然而现实是,根据《2026年云安全报告》,仅有17%的企业广泛部署了运行时大语言模型管控,包括输入验证、输出过滤和工具调用授权。77%的企业已更新了AI安全策略,但仅有26%具备执行这些策略的架构能力。

弥合这一差距,需要围绕三个步骤构建实践模型。

首先是可视性问题:清点所有正在运行或正在开发中的智能体,了解它们连接什么、使用哪些工具、能访问什么数据、拥有多大自主权。第二,用户需要在智能体进入生产环境之前就定义权限,并为工具调用、数据访问和部署模式制定策略边界。第三,保护应在运行时介入:在提示词到达模型之前、在输出到达用户之前、在工具调用执行之前进行检查,在不安全行动发生之前将其拦截。

Check Point AI智能体安全专为这一运行时现实而设计,对AI应用和智能体进行内联保护,从提示词到输出,再到智能体的每一次工具调用,无需重新训练模型或重写提示词。这一能力作为Check Point AI Defense Plane的核心组成部分,将员工AI使用、AI应用与智能体三个维度的安全管控统一整合,确保智能体安全不是一个孤立的单点工具,而是贯穿企业AI执行层的完整防御体系。

"预防为先"在智能体安全场景中有了最具体的含义:安全跟随智能体执行的每一步,在从指令到行动的整条路径上持续在场,而不是等待不安全结果发生后再行补救。

编 辑:T01
飞象网版权及免责声明:
1.本网刊载内容,凡注明来源为“飞象网”和“飞象原创”皆属飞象网版权所有,未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载,请必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和飞象网来源。
2.凡注明“来源:XXXX”的作品,均转载自其它媒体,在于传播更多行业信息,并不代表本网赞同其观点和对其真实性负责。
3.如因作品内容、版权和其它问题,请在相关作品刊发之日起30日内与本网联系,我们将第一时间予以处理。
本站联系电话为86-010-87765777,邮件后缀为cctime.com,冒充本站员工以任何其他联系方式,进行的“内容核实”、“商务联系”等行为,均不能代表本站。本站拥有对此声明的最终解释权。
推荐阅读

精彩视频

精彩专题

关于我们广告报价联系我们隐私声明本站地图

CCTIME飞象网 CopyRight © 2007-2026 By CCTIME.COM

京ICP备08004280号-1 电信与信息服务业务经营许可证080234号 京公网安备110105000771号

公司名称: 北京飞象互动文化传媒有限公司

未经书面许可,禁止转载、摘编、复制、镜像