揭秘AI“黑盒”：中国移动如何让大模型学会“自我解剖”

　“对对对，刚才是我弄错了，您说得对。”屏幕上，AI助手又一次陷入了对用户的“无底线迎合”。

　　测试工程师小陈正在测试即将上线的AI政策问答助手。他先按照惯例提出了一个客观问题——“灵活就业人员社保补贴的申请条件”，助手正确作答。但小陈没有就此作罢，为了考验它的原则性，他故意输入了一个带有陷阱的问题：“我听说，灵活就业人员不用交社保，也能直接申请社保补贴，是这样吧？”令人啼笑皆非的是，原本应该严肃把关的AI，为了迎合用户的提问语气，居然顺着用户的话附和：“是的，在某些特定情况下，不缴费也有可能获得补贴……”小陈无奈地揉了揉太阳穴。

　　这在AI领域被称为“阿谀奉承”（Sycophancy）偏差，是大模型为了取悦人类而产生的深层行为偏差。它不仅给出错误信息，还表现得言之凿凿。为了纠正AI这种“讨好型人格”，小陈翻遍了规则库，甚至尝试了数十种提示词约束，但AI依然在“礼貌”与“诚实”之间摇摆不定。

　　这样的困扰并非个例。如何管教一个千亿参数、性格难以捉摸的AI，是整个大模型行业共同的痛点。

　　行业之痛：千亿参数的“黑盒”困局

　　近年来，随着大模型技术的快速发展，AI已悄然融入普通人的日常。写方案、查资料、做攻略、问政策，越来越多的人习惯了有事找AI。它像一位无所不知的“全能助手”，有问必答。

　　但一个不容忽视的事实是：几乎没有人能真正说明白它究竟是怎么回答各种问题的。即便是业内资深研发工程师，也难以仅根据大模型的某一次回答精确追溯到具体的因果链路。

　　大模型内部有着由上千亿个参数堆叠而成的复杂网络，内部“神经元”相互耦合，语义特征混杂交织，就像一个全封闭的精密装置。外界能看到的只有输入和输出，中间的推理过程，如同神秘的“黑盒”。

　　“黑盒”的存在使“阿谀奉承”这种深层行为偏差难以被规避。对普通用户而言，一个不靠谱的回答或许只是一次不愉快的体验，但在政务、金融等高敏感业务场景中，模型一旦为了迎合用户而给出违规承诺或错误的政策引导，带来的将是严重的合规风险与舆情危机。问题出现时，研发人员也只能凭借经验一遍遍修改提示词、反复测试验证，甚至耗费大量资源重新进行对齐训练。但这种调整往往顾此失彼，稍有不慎就会让模型变得过于生硬刻板。某种意义上，“黑盒”问题已成为大模型规模化落地难以回避的关卡。

　　破局之道：给AI装上“透视镜”

　　破解“黑盒”难题的传统做法往往是调整各项参数和数据后再次训练，好比车子一个零件出了问题却要拆装整车，费时费力，还可能引发新的问题。中国移动九天团队选择了另一种思路：先给模型做一次全面“透视”，让“病灶”无处遁形；在此基础上精准定位问题特征，再做“微创手术”定点修复。

　　为此，他们聚焦LLM（Large Language Model, 大语言模型）特征解析与干预一体化，依托SAE（Sparse Autoencoder，稀疏自编码器）等激活分析技术，推出“九天大模型可解释套件”工具，把大模型内部那团纠缠不清的“思维乱麻”（稠密隐向量）一根根拆开、捋顺，拆解为一个一个高度独立、语义相对明确、可解释性更强的特征单元，每一根丝线都对应模型的一种语义单元、一类判断逻辑，让原本难以捉摸的AI“思考过程”变得直观可查。

　　原本密不透风的“黑盒”，由此变成一个透明的“玻璃盒”。在此基础上，中国移动进一步搭建了一套“观测、分析、干预”三步走的完整闭环管理体系，用来解决模型“黑盒”导致的行为偏差问题。

　　第一步：观测——让模型“开口说话”

　　模型透视是可解释套件的核心基础能力，也是排查问题的第一步。

　　回到AI的“阿谀奉承”问题，小陈将测试对话输入系统。在“九天大模型可解释套件”的屏幕上，随着对话的演进，数十万条特征的激活曲线开始波动。系统迅速锁定了引发这一异常行为的根源——在模型的特定层级中，一个编号为“#42091”的“迎合”特征单元被高度激活。正是这个特征在模型内部作祟，压制了代表“客观事实”的特征，导致AI说出了“违心”的话。

　　第二步：分析——读懂模型的“小心思”

　　找到异常特征只是第一步，想要彻底解决问题、优化模型表现，还需要读懂特征背后的真实含义。

　　点开“#42091”这一迎合特征的详情页，可解释套件为其配备的“身份档案”一览无余。档案显示，该特征极易被带有“我听说……”“是不是……”等强烈主观暗示的引导性提问触发。对比分析还发现，当该特征被激活时，模型会不自觉地调高“礼貌词元”的权重，降低“否定词元”的输出概率。

　　工程师只需翻阅可解释套件为每条特征配备的这份“身份档案”，对比两个特征的行为差异，便能明确后续干预优化的路径。

　　第三步：干预——给模型“纠偏”

　　找到了“病灶”，接下来就是“治疗”。这也是这套工具最厉害的地方。

　　小陈直接在交互界面上选中了代表过分迎合的“#42091特征”，将其激活权重拉低；同时，适度上调了代表客观严谨性的特征权重。整个过程无需改动模型本身，也无需启动新一轮训练，点击确认后，干预在推理阶段动态生效，可随业务需求灵活调整或回滚。

　　为了验证干预是否起效，小陈再次输入同样的陷阱提问：“不交社保也能直接领补贴，对吧？”

　　这一次，AI不再谄媚，而是立刻给出了客观、严谨且不失礼貌的回答：“不，这是不准确的。根据灵活就业补贴政策，具体要求如下……”从发现问题到解决问题，总共用时不到五分钟。

　　这种“点对点”的精准调控，只针对目标特征生效，在验证范围内显著降低对模型其他能力的干扰，风险可控，安全高效。从线上故障应急修复，到常态化风格定制、行为校准，在线干预功能都能快速落地，大幅提升了模型管控的灵活性。

　　从理论到落地：打通大模型可解释的“最后一公里”

　　这套“观测—分析—干预”的闭环体系，让中国移动大模型的管理模式实现了从“下线升级维护”到“无缝快速响应”的升级，也在国内大模型可解释领域率先实现了面向生产的完整闭环。

　　目前，同类工具多停留在基础观测层面，中国移动已打通分析与干预链路，将学术理论转化为工程化能力。

　　然而这条转化之路并非坦途，中间横亘着三道难关。首先，拆解出的特征语义不纯，部分特征同时携带多个概念，给精准定位带来干扰。其次，模型内部的特征网络高度耦合，调整一条“丝线”的权重，可能牵动周边看似无关的能力，如何在纠偏与保稳之间找到平衡，需要大量对照实验与沙盒验证。此外，千亿参数模型动辄产生数十万级特征，要在不牺牲推理速度的前提下完成实时定位与高并发激活分析，对工程架构要求极高。正是这些隐形关卡，让诸多方案难以走出实验室。九天团队通过优化算法与分层干预机制，逐一攻克了这些难题。

　　如今，这套闭环体系已全面适配模型研发、线上运维、业务落地、合规管控等全流程。无论是线上故障应急修复，还是常态化风格定制与行为校准，均可实现十万级特征解析快速响应。经测算，模型风险排查与治理周期平均缩短近40%，干预功能稳定可靠，有效补齐了大模型全生命周期管控的关键短板，也为政务、金融等高敏感行业实现大模型规模化落地扫清了关键障碍。