Cloudera：构建符合伦理标准的AI，可信数据是关键

Cloudera大中华区技术总监刘隶放

人工智能（AI），尤其是生成式 AI（GenAI），正在改变各类行业的“游戏规则”。麦肯锡研究显示，生成式AI有望为全球贡献约7万亿美元的经济价值，并将AI的整体影响提高近50%。其中，中国将有望贡献约2万亿美元，近全球总量的1/3。AI 的应用速度也仍在加快，Cloudera对亚太地区IT领导者的调查显示，预计到2026 年，亚太地区将有 57% 的企业处于AI早期应用阶段。

然而，在这些积极信号背后，政府和企业领导者也表示出对于信任缺失的担忧。信任度的降低将持续影响着AI 的普及速度。技术领导者必须思考如何在释放 AI 价值的同时，有效管理潜在挑战。这些挑战包括偏见管理、数据隐私保护、治理机制完善，以及非结构化数据与大语言模型（LLM）的集成等。这些挑战至关重要，因为关系到企业自身、客户以及更广泛的社会安全。

在应用AI 时，需要考虑很多因素。在某种程度上，这也是问题所在，即究竟该从 AI 开始，还是从数据切入。

构建符合伦理的AI 系统需要可信数据

伦理型AI（Ethical AI）这一概念，用于描述在 AI 平台和流程中必须考虑并纳入的一系列核心原则，包括问责制、透明度和治理机制。要构建值得信任的 AI 系统，企业必须拥有可信的信息来源。以准确、一致、干净、无偏见且可靠的数据基础，经过伦理设计的企业AI 系统才能持续产出公平且无偏见的结果，企业也能更轻松地识别问题、弥补逻辑漏洞、优化输出结果，并评估其创新成果是否符合法规要求。

企业可参考以下建议，帮助构建伦理型AI 系统：

●聚焦意图：AI 系统基于数据进行训练，其语境范围仅限于数据本身。如果不加以定义，系统就不存在道德准则，也没有公平判断的参照框架。因此，设计者需要明确且审慎地构建驱动系统设计的意图表征。

●关注模型设计：企业需要意识到，除了数据本身，模型设计同样可能成为偏见来源。模型应当被持续监控，以防止出现模型漂移（model drift）现象，即模型因数据变化而逐渐失准，可能导致不公正的预测和歧视。

●确保人工监督：尽管AI 系统在基于高质量数据训练后能够稳定地做出良好决策，但它们缺乏情感，无法处理一些特殊情况。有效的系统往往是将人类判断与 AI 智能结合。

●强化安全与合规：开发以安全与合规为核心的伦理型AI系统，有助于增强对系统的信任，并推动其在企业范围内的应用，同时确保遵守当地及区域的法规要求。

●利用现代数据平台：借助支持现代数据架构的数据平台等工具，可显著提升企业在整个数据与AI 模型生命周期中管理和分析数据的能力。平台需要内置安全与治理控制机制，使组织在大规模部署数据分析和 AI 的同时，能够保持对AI决策的透明性和控制力。

大语言模型：解读新的游戏规则

大语言模型（LLM）是持续重塑数字领域的 AI 应用场景之一，也凸显了使用可信数据的重要性。

大语言模型的优势众多，包括可执行多样化任务，能够以更低成本、更快速度开发AI 解决方案。这对于追求更快价值实现周期的企业而言十分关键。大型语言模型还能帮助用户处理海量数据并按需扩展，洞察传统数据分析方法难以发现的趋势和模式。

但与此同时，企业也需要警惕其潜在风险。例如，在使用大语言模型时，幻觉问题和算法偏见都可能引发问题。企业要保持高度警觉，因为这些问题可能导致不可信的结果。

一种可行的解决方案是平台化建设，即从基础层到基础设施开始逐步构建，自下而上逐步构建。尽管预训练的基础模型具备强大能力，但由于数据的多样性和海量特性，模型的部署与扩展仍面临巨大挑战。相较于单纯创建模型，平台建设也凸显了大语言模型如何融入企业流程以实现更大效益，这种需求正日益凸显。

在伦理型AI 之路上持续前行

企业监理正确的数据使用意图，应当站在客户角度思考。所以，企业应该问自己一个问题：“如果是自己的数据以这种方式被使用，是否会感到安心？”

如果答案是否定的，这就是一个明显的警示信号。如果答案是肯定的，那么这很可能就是正确的起点。

当技术领导者充分理解数据使用的意图，并设计出兼顾伦理原则与实践的AI框架时，他们不仅将在竞争中领先一步，更重要的是，他们是在做正确的事情。