OpenAI的Ilya Sutskever有一个计划来控制超级智能人工智能
OpenAI的Ilya Sutskever正在制定一个计划，旨在管理超级智能人工智能
OpenAI成立的目标是构建造福全人类的人工智能，即使当这个人工智能比创建者聪明得多。自从去年推出ChatGPT以来，在公司最近的治理危机期间，其商业野心更加突显。现在，该公司表示，一个新的研究小组正在努力驯服未来超级智能人工智能，并且已经开始产生成果。
OpenAI的一名参与7月成立的Superalignment研究小组的研究人员Leopold Aschenbrenner表示：“AGI发展迅猛”，“我们将看到超人类模型，它们将具有广泛的能力，可能非常非常危险，而我们还没有控制它们的方法。” OpenAI表示将把其可用计算能力的五分之一用于超级对准计划。
OpenAI今天发布的一篇研究论文宣称，他们的实验结果显示，有一种方法可以让较差的AI模型指导比它聪明得多的模型的行为，而不会让后者变得不聪明。虽然涉及的技术远远不能超越人类的灵活性，但这个场景被设计为代表人们在未来必须与比自己更聪明的AI系统合作的情况。
OpenAI的研究人员研究了监管过程，该过程用于调整像ChatGPT背后的大型语言模型GPT-4的系统，使其更有帮助和更少有害。目前，这需要人类给AI系统提供反馈，告诉它哪些答案好，哪些答案不好。随着AI的进步，研究人员正在探索如何自动化这个过程以节省时间，但也因为他们认为随着AI变得更加强大，人类可能无法提供有用的反馈。
在一个控制实验中，他们使用OpenAI于2019年发布的GPT-2文本生成器来教授GPT-4，结果发现最新的系统变得能力下降且类似于较差的系统。研究人员测试了两种修复方法。一种方法涉及训练逐步更大的模型，以减少每个步骤中的性能损失。另一种方法是给GPT-4添加了一个算法调整，使得强大的模型能按照较弱的模型的指导行动，而不会像通常是那样丧失性能。这种方法更加有效，虽然研究人员承认这些方法并不能保证更强大的模型表现完美，并将其描述为进一步研究的起点。
“OpenAI能够积极应对控制超人类AI的问题真是太棒了，”旧金山管理AI风险的非营利机构AI安全中心的主任Dan Hendryks说道：“我们需要多年的专注努力来应对这一挑战。”
与ENBLE进行交流的Superalignment团队的另外两名成员Collin Burns和Pavel Izmailov表示，他们对这个重要的第一步感到鼓舞，这是驯服潜在超人类AI的关键。“尽管一个六年级学生的数学知识比不上一个大学数学专业，但他们仍然可以向大学生表达他们想要实现的目标。这就是我们在这里努力实现的。”
Superalignment小组由OpenAI联合创始人、首席科学家及上个月投票解雇首席执行官Sam Altman并威胁辞职（后来撤回威胁）的董事会成员之一Ilya Sutskever共同领导。Sutskever是今天发布的论文的合著者，但OpenAI拒绝让他接受采访讨论该项目。
在Altman上个月回到OpenAI，导致大部分董事会辞职的协议中，Sutskever在公司的未来似乎不确定。
“我们非常感谢Ilya，”Aschenbrenner说。 “他一直是一个巨大的动力和推动力。”
OpenAI的研究人员并非第一个尝试利用现今的AI技术，来测试能够帮助驯服未来AI系统的技术的人。与在公司和学术实验室中的先前工作一样，我们无法知道在精心设计的实验中奏效的想法在将来是否实用。研究人员将试图将较弱的AI模型训练成较强的AI模型，并将其视为“超级对准问题”的重要构建模块。
所谓AI对齐的实验也引发了对任何控制系统可信度的质疑。新的OpenAI技术的核心依赖于更强大的AI系统自行决定忽略较弱系统的指导，这可能导致其忽视能够防止其未来以不安全的方式行事的信息。要使这样的系统有用，需要在提供对齐保证方面取得进展。“你最终需要非常高的信任度，”OpenAI团队成员之一Burns说道。
加州大学伯克利分校的教授Stuart Russell在研究AI安全方面表示，利用较弱的AI模型来控制更强大的模型的想法已经存在一段时间了。他还表示，当前存在的教导AI行为的方法是否可行尚不清楚，因为迄今为止这些方法未能使当前模型的行为变得可靠。
虽然OpenAI正在夸耀迈出了控制更高级AI的第一步，但该公司也渴望得到外部的帮助。该公司今天宣布将与影响深远的投资者、前谷歌CEO Eric Schmidt合作，提供1000万美元的资助，以鼓励外部研究人员在弱到强的监督、高级模型可解释性和强化模型抵抗破坏其约束条件的提示方面取得进一步的突破。OpenAI新论文涉及的研究人员还表示，该公司还将于明年举办一次关于超对齐的会议。
OpenAI创始人之一、Superalignment团队的联合领导Sutskever一直带领公司进行最重要的技术工作，他是知名AI人物之一，对如何控制日益强大的AI感到日益担忧。今年，如何控制未来的AI技术成为了新的关注焦点，这在很大程度上要归功于ChatGPT。Sutskever在Geoffrey Hinton的指导下攻读博士学位，后者是深度神经网络的先驱，于今年5月离开谷歌，警告人们AI以人类水平在某些任务上出现的速度。
