信任度评估：为什么每个AI模型都需要一份FICO评分
AI模型的FICO评分的必要性
根据Salesforce的2023年IT情况研究，9成IT领导者表示，生成式人工智能将很快成为主流。
麦肯锡报告称，2022年有50%的组织使用了人工智能。IDC预测，全球人工智能支出将在2023年增长26.9%。最近一项针对客户服务专业人员的调查发现，2020年至2022年间采用人工智能的比例增长了88%。研究显示，86%的IT领导者认为生成式人工智能在近期将在他们的组织中发挥重要作用。
此外：三分之二的专业人士认为人工智能将提高他们的技能价值
然而，64%的IT领导者对生成式人工智能的伦理问题表示担忧，62%对它对自己职业的影响表示担忧。在最近一项针对IT领导者的调查中，对生成式人工智能的担忧包括安全风险（79%）、偏见（73%）和碳足迹（71%）。另一份报告发现，23%的客户不信任人工智能，56%持中立态度。这种信任赤字可以根据公司使用和提供基于人工智能的服务的方式而发生变化。
麦肯锡的最新研究估计，根据麦肯锡分析的63个用例，生成式人工智能每年可能为全球经济增加2.6万亿至4.4万亿美元的价值，而2021年英国的整体国内生产总值为3.1万亿美元。这将使所有人工智能的影响增加15%至40%。增长和采用人工智能的最大障碍是信任。员工技能缺口和信任是企业采用生成式人工智能的最大障碍。
此外：生成式人工智能和第四个“为什么”：与客户建立信任
为了更好地了解AI解决方案提供商如何赢得所有利益相关者（员工、客户、合作伙伴和所服务的社区）的信任，我与数据隐私、高级分析、人工智能和数字化转型专家Richie Etwaru进行了一次令人着迷的讨论。Etwaru是Mobeus的联合创始人兼首席创意官，拥有众多专利、著作、TEDx演讲和行业首创创新。
我们如何与用于生成式人工智能及其以外的所有基础模型建立信任？以下是Etwaru提出的建议。
亚瑟·C·克拉克在他1962年的著作《未来轮廓：对可能性限制的探究》中写道：“任何足够先进的技术都无法与魔术区分开来。”这个论断经受住了时间的考验。
快进60年到2022年11月20日，OpenAI发布了ChatGPT，这是一项技术壮举，如此先进以至于似乎模糊了魔术和巫术之间的界线。这不仅仅是魔术，而是令人不安的。人类与魔术的关系是平衡的。当魔术具有吸引力和令人敬畏之时，我们会感到愉悦，但当它超越了我们的理解能力，跨越了我们的舒适区时，它变得令人生畏。当魔术看起来太强大时，它会将我们带离我们的舒适区，进入一个令人困惑的维度。不安来自于面对逃避逻辑或科学解释的现象。
此外：最佳的AI聊天机器人：ChatGPT和其他值得关注的替代品在技术领域，ChatGPT及其同行们——为交互而设计的大型语言模型以及DALL-E等能够生成文本到媒体的能力——都提供了一些令人意外的东西。它们呈现出克拉克可能无法想象的进步，达到了超越“魔术”的复杂程度，引起本能的关注，因为它们引入了我们难以理解的概念和能力。
人类的心理是脆弱的。当面对无法解释的现象时，我们的内在反应，由进化所塑造，往往倾向于恐惧。这就是为什么一个陌生的小生物可能比一个巨大的、众所周知的野兽更令人生畏。ChatGPT及其同行已经突破了这个“超越魔术”的屏障，他们令人敬畏的能力确实引起了轰动。
人工智能之所以让我们感到害怕，并不是因为其能力，而是因为我们对其工作原理和实现方式了解甚少。我们对其缺乏理解，导致我们想象出了所有AI “有可能做到的”额外事情。
此外：如何编写更好的ChatGPT提示以获得最佳生成AI结果
在文章《别再对GPT-4感到紧张了》中，Rodney Brooks认为我们应该“停止将性能与能力混淆”。Brooks解释说，如果一个AI模型能够做到X，我们不应该假设它也能做到Y，仅仅因为可以做到X的人通常也能做到Y。我们的恐惧源于对AI能力的无限想象，但实际上我们高估了在狭窄应用中表现出惊人效果的系统的整体能力。解密AI的内部工作原理可以显著减少对其的恐惧。如果我们能将AI从不透明的“黑盒子”转变为透明的“玻璃立方体”，我们就可以重新调整我们作为一个物种对该技术的采用方式。
在他的演讲《超越ChatGPT：深入生成AI的思维》中，Michael Wu博士解释了一个简单的提示语句如“天空的颜色是什么？”实际上是如何运作的。Wu做了很好的工作，揭示了生成模型的神秘性，证明它们惊人的回答是通过“纯数学”和统计学产生的，而不是意识智能。揭示AI回答背后的数学基础可以向观众确认，这些系统没有像人类那样的意识。
此外：这个AI生成的加密货币发票骗局几乎骗到了我，而我是一个安全专家尽管我们今天开始更加了解AI，但前方的道路仍然漫长。亚马逊网络服务公司（AWS）首席执行官亚当·塞利普斯基（Adam Selipsky）在六月告诉CNBC，我们只是“迈出了三步，而这是一场万米赛跑”。随着AI的发展，模型将超越当前的能力。增强的数据掌握能力，改进的模型管理，更广泛的生态系统整合，人类技能提升以及持续的数学/统计创新可以在时间的推移中显著甚至呈指数级地改进AI。尽管我们已经通过监管消除了对过去技术（如电力、飞行、汽车和互联网）的恐惧，但我们很可能无法完全消除对AI的恐惧。这是因为AI具有复合指数特性，而之前的一切都只能最多达到线性。在根本上，我们的焦虑源于AI可能如何影响人类作为一个物种继续繁荣的能力。在极端情况下，我们对AI导致人类灭绝的情景进行了灾难化的描绘。但结果很可能不是完全的胜利或失败。我们必须找到与人工智能持久、可持续共存的方式，而不是将未来描述为人类赢得或失去存在的方式。
此外：根据专家的说法，生成AI的五个最大风险
以共存为指导原则，我们需要一种机制来评估AI模型与该目标的一致性。当面对一个AI系统时，我们应该能够立即判断它是“好的AI”，支持人工智能与人类共存并满足人类需求，还是无视共存并且不可信任。我们需要某种易于理解的评分系统，以表明AI模型的可信度和对人类的服务。
如果没有这样的机制，我们可能会对所有的AI产生越来越多的怀疑，这可能会滋生对使用AI的任何公司的不信任。评估AI与合作人工智能共存的一致性的一个连贯框架是建立公众对该技术的信心和从中提取价值的关键。欧盟的AI法案已经迈出了迈向AI评分系统的初步步骤，要求为每个AI模型提供CE标志和唯一的模型编号，追溯到合规评估数据。然而，这个CE标志的底层信息仅仅揭示了一个模型的训练和创建方式，无法表明该模型是否值得信赖。一个模型可能符合适用的法规，但仍然无法获得公众的信任，这会影响消费者、公司或使用该模型进行产品和服务的国家的认知。仅仅满足要求并不等于共存一致性。我们需要一个AI评分框架，超越技术指标，明确评估人类利益、透明度和共存潜力。
此外：AI的伦理：人工智能的好处和风险
谷歌和OpenAI等公司已经开始使用“模型卡片”来整理和展示有关其模型的设计、数据、训练、性能和限制的信息。例如，谷歌的MediaPipe BlazeFace AI模型有一个模型卡片，其中的部分信息和格式是由谷歌员工撰写的论文规定的。另一方面，OpenAI为GPT-4提供了一个“系统卡片”，其中的部分信息和格式是根据斯坦福大学的一篇论文规定的。
虽然模型/系统卡是朝着正确方向迈出的一步，但它们各自遵循独立的格式和信息架构的事实只是众多挑战之一。主要挑战在于大多数消费者没有时间、耐心或能力阅读和理解这些模型/系统卡，因此尽管这些卡片对公众可见，它们对消费者来说几乎没有用处。阅读起来太长，理解起来太难。
此外：IBM研究显示，40%的工人在未来三年内需要通过AI进行再培训
作为一种锻炼，让我们定义一个简单易懂的分数，以表明AI模型与满足人类需求和促进人机共存的一致性。为了想象一个分数如何表示模型对共存的可信度，让我们想象一个“人机共存分数”（即HAICO分数）。这个工作怎么做呢？每个AI模型需要收集哪些数据，多久收集一次，以及使用什么公式来计算HAICO分数？这个框架需要将复杂的信息提炼成一个易于理解的分数，向公众传达一个模型对共存的一致性信号。
虽然复杂，但将这样一个评分框架付诸实践并非不可能。想象一下，我们的HAICO分数由50个与人机共存相关的属性组成，这些属性分别属于马斯洛需求层次的五个层级（图1）。
图1：我们HAICO分数的概述
这50个属性中的每一个都会衡量与人机共存一致的某种特性。这些属性的数据将从整个模型流程中收集，从芯片中嵌入的例行程序的透明度、训练数据的同意和所有权、模型设计、推理性能、重新训练和重新分配等方面。
模型属性的示例包括：模型是否稳健、可用、公平、尊重人类自主权、以共识为导向、持续学习以及为人类生活增加价值等。每个属性的评分范围为0-5，然后使用一个公式将它们结合起来，为每个模型计算出一个0-100的总体HAICO分数（图2）。
此外：今天的AI繁荣如果不立即采取行动，将加剧社会问题，AI伦理学家说
最终的三级HAICO评分系统：
- 非共存（0-59分）：不被信任以满足人类需求。
- 共存（60-79分）：被信任以满足人类需求。
- 非常共存（80+分）：高度信任以满足人类需求。
图2：一个示例AI模型，每个50个属性都有0-5的分数，在每个层级上求和。
这说明了多层技术细节如何映射到一个简单的共存和可信度分数的模型。HAICO示例框架提供了一个起点。将其转化为一个有效的面向公众的框架将需要包容性的开发和持续的改进。但它证明了一种细致的人机共存评分机制是可行的。
我们的HAICO示例评分机制还远未完成，还有很多工作要做。例如，每个层级的权重和将AI模型归类为非共存的范围可能会因不同的受众而改变。计算HAICO分数的公式可能会因被分为PG-13级别受众的AI模型和被分为Rated R级别受众的模型而改变。这个示例说明了我们可以为AI模型建立一个评分系统，引入一种简单可靠的方法来确定模型是否可以被信任与人机共存（图3）。
此外：在AI之前，这种其他技术浪潮正在迅速席卷
我们必须超越“谁将获胜”的争论，走向共存之路。AI已经来了，我们也在这里。未来的工作必须作为一个协作社区来完成。如果不这样做，缺乏像我们的HAICO示例评分这样的框架将越来越多地对使用AI模型构建产品或提供服务的消费者、公司或国家的可信度产生质疑。作为一个社会，我们将面临对AI和使用AI的人的不信任呈指数增长的风险，最终将越过一个阈值，在那里我们可能会失去利用这项技术改善人类境况的机会。
图3：使用公式计算AI模型的最终HAICO得分，将其分类为与人类共存，得分为76
好消息是：除了成熟的AI生态系统参与者，如硬件提供商（NVIDIA、Intel、Apple、AMD、SambaNova）、云服务（AWS、Google、Azure、Oracle、阿里巴巴、Salesforce）、模型市场（Cohere、Hugging Face）、应用（OpenAI、Antrophic、Stability.ai）以及战略和服务公司（德勤、安永、IBM、高知特等），还有一批新兴的“模型测量”工具正在崛起。
例如，TensorFlow数据验证可帮助了解数据集的特征，检测异常，并比较用于训练模型的数据集之间的差异。CleverHans或Adversarial Robustness Toolbox（ART）可用于在计算鲁棒性时对模型进行对抗性攻击模拟。类似谷歌的公平性指标、IBM的AI公平性360或Fairlearn等工具可用于测量、可视化和减轻机器学习模型中的偏见。类似谷歌的TFX、Seldon或Fiddler等工具可用于随时间监控模型的性能，并在出现重大偏移或退化时提醒您。
另外：MIT表示，大规模采用生成式AI工具正在破坏一个非常重要的因素
各个要素开始融合。北极星是共存。我们现在正处于可以为每个AI模型协同建立一个信任得分的时刻，该得分表示模型与人类共存的一致性，类似于我们用来表示人类财务信誉的FICO得分。本文中共享的HAICO得分是一个引子，以开始这个讨论。现在没有比现在更好的时机了。
本文由Mobeus联合创始人Richie Etwaru共同撰写。Etwaru是一位多学科高管、连续创业者和全球思想领袖。他与高管层和董事会合作，设计并领导了金融服务和医疗保健领域的全球转型。Etwaru发明了软件启用的空间计算，并开创了第31项人权。他撰写了三本书，发表了三次TED演讲，并在100多个会议上发表演讲。
