“AI换脸拟声”乱象频出，怎么破？

飞象网讯（易欢）“我经常刷到非常知名的院士专家推荐某美白产品，自己也有这方面的困扰，因为是权威专家本人亲推的就抱着试试的心态买了！”“看到自己非常喜欢的名人说用某某保健品亲测有效，总忍不住想要下单。”在人工智能快速渗透的当下，短视频平台利用AI技术把名人明星换脸拟声植入广告，带来受益的情景已然泛滥。这种通过科技在自媒体领域制造的营销乱象真假难辨，不仅存在严重的侵权行为，也严重损害了消费者的合法权益。

相关数据显示，仅 2024 年通过 AI 换脸实施的诈骗案件涉案金额就达 17.3 亿元，而如今，在科技的加持下，消费者面临着AI换脸＋换声的双重威胁，高度真实感让消费者们很难辨别信息真伪。当科技为人类生活提供极大便利的同时，如何合法合规的使用AI带来正向价值，避免技术黑箱成为新型犯罪的温床，保障用户权益成为社会发展必须要考虑的关键问题。

“AI换脸拟声”乱象频出

毫无疑问，人工智能的快速发展，推动了AI换脸拟声在影视、广告、社交等领域的广泛兴起，成为极具传播力、易成热点的技术应用。但同时也看到，AI换脸拟声的不当滥用成了违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息以及诈骗等犯罪行为，甚至造成难以挽回的大规模形象和声誉损害，损害消费者权益的同时带来社会治理等风险。

在今年两会期间，“AI换脸”“AI拟声”也成为热议话题。其中，不少两会代表们也深受其害，比如，全国人大代表、小米集团CEO雷军在去年国庆期间，被人用AI捏造声音乱说一气，并以“雷军语音包”的形式在网上流传；全国政协委员、上海华山医院医生张文宏被AI换脸“带货”等，在所谓“操盘手”的套路之下，应用AI技术扩散的虚假宣传正在成为收割消费者的一种利器。

值得注意的是，目前，对于AI换脸的“反侦察”技术检测尚无法做到百分百准确，但AI深度合成技术所需素材却具备获取便利、技术使用门槛低的特性，面对AI换脸拟声乱象，现有的法律法规尚不能完全满足治理需求，亟须通过立法手段厘清边界。

在两会期间，小米集团CEO雷军针对“AI换脸拟声”等某一代表性问题，建议探索推出人工智能单行法，提高立法位阶及其效力，分级分类的基础上进行务实治理，明确“AI换脸拟声”应用边界红线，完善侵权证据规则，加大对利用人工智能技术实施犯罪行为的刑事处罚力度。

雷军还建议强化行业自律共治，压实平台等各方的责任。支持平台企业开发可精准识别人工智能深度合成内容的技术能力，优化升级通信软件和内容平台巡查审核机制、投诉举报机制、应急处理机制，确保及时阻断问题内容传播。

不仅如此，他还强调要加强人工智能方面的法制宣传教育，增强民众的警惕性和鉴别力，聚焦重点人群，在中小学人工智能教材中加入伦理规范内容，深入老年人聚居的社区开展相关知识普及活动，在全社会夯实“以人为本、智能向善”的人工智能发展生态。

人工智能健康有序发展可期

实际上，早在2022年11月，国家互联网信息办公室、工业和信息化部、公安部联合发布了《互联网信息服务深度合成管理规定》，为深度合成服务划定了“底线”和“红线”，维护网络空间良好生态。不过在实际操作中，仍存在一些模糊地带。例如，对于个人使用“AI换脸拟声”技术的界限、平台审核责任的具体划分，以及侵权赔偿标准的确定等方面，还需进一步细化和明确。

为了更好的应对在AI技术加持下的虚假信息泛滥、网络信息治理等棘手问题，近日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》（以下简称《标识办法》），自2025年9月1日起施行。

《标识办法》提出，服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。

《标识办法》要求，互联网应用程序分发平台在应用程序上架或者上线审核时，应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的，互联网应用程序分发平台应当核验其生成合成内容标识相关材料。

国家互联网信息办公室有关负责人表示，《标识办法》聚焦人工智能“生成合成内容标识”关键点，通过标识提醒用户辨别虚假信息，明确相关服务主体的标识责任义务，规范内容制作、传播各环节标识行为，以合理成本提高安全性，促进人工智能在文本对话、内容制作、辅助设计等各应用场景加快落地，同时减轻人工智能生成合成技术滥用危害，防范利用人工智能技术制作传播虚假信息等风险行为，推动人工智能健康有序发展。

在AI技术一路狂飙之下，换脸拟声正在不断模糊真实与虚构的边界，作为企业而言必须真正把科技向善的基因融入到算法中，才能更好的守护用户的消费安全。与此同时，国家层面、相关企业、网络平台等也需要形成合力，促使AI换脸拟声技术在合法、合规的轨道上健康发展。