开源实际上是人工智能的摇篮以下是原因

开源实际上是人工智能的摇篮的原因在于

keep-ai-open-source-smaller-may-2023

某种程度上,开源和人工智能是同时诞生的。

回到1971年,如果你对大多数人提起人工智能,他们可能会想到艾萨克·阿西莫夫的三大机器人定律。然而,该年份AI已经成为了麻省理工学院的真实课题,理查德·M·斯托曼(RMS)加入了麻省理工学院的人工智能实验室。

特别特辑

计算机和智能提出了图灵测试。简而言之,测试的原则是如果一台机器能够欺骗你以为你正在与一个人类交谈,那么它就是智能的。

一些人认为如今的AI已经能够做到这一点。我不同意,但我们显然正在朝着这个目标努力。

此外:最佳AI聊天机器人:ChatGPT和其他替代品

1960年,计算机科学家约翰·麦卡锡创造了“人工智能”这个词,并在此过程中创建了Lisp语言。正如计算机科学家保罗·格雷厄姆所说,麦卡锡的成就“为编程做到了类似于欧几里得在几何方面做到的事情。”他展示了如何在只有少量简单操作符和函数标记的情况下构建一个完整的编程语言。

Lisp,其中数据和代码混合在一起,成为了AI的第一种语言。这也是RMS的第一个编程爱好。

那么,为什么我们在1980年代没有GNU-ChatGPT呢?有很多理论。我更喜欢的一个理论是,早期的AI在错误的十年中有了正确的思想。硬件无法应对挑战。其他必要的元素,如大数据,还不可用于帮助真正的AI起步。开源项目,如Hdoop、Spark和Cassandra,为存储和处理大量数据的群集提供了AI和机器学习所需的工具。如果没有这些数据和快速访问数据的能力,大规模语言模型(LLMs)无法工作。

此外:尝试最好的AI图像生成器

虽然如此,OpenAI和其他所有生成AI程序都是基于开源基础构建的。特别是Hugging Face的Transformer是构建当今机器学习(ML)模型的顶级开源库。尽管名字很有趣,它提供了预训练的模型、架构和自然语言处理任务的工具。这使开发人员可以在现有模型的基础上构建并对其进行特定用途的微调。特别是,ChatGPT依赖Hugging Face的库作为其GPT LLMs。没有Transformer,就没有ChatGPT。

此外,Google和Facebook分别开发的TensorFlow和PyTorch也为ChatGPT提供了动力。这些Python框架提供了构建和训练深度学习模型所需的重要工具和库。无需多言,其他开源AI/ML程序都是基于它们构建的。例如,Keras是一个基于TensorFlow的高级API,经常被没有深度学习背景的开发人员用来构建神经网络。

此外:想要构建自己的AI聊天机器人吗?试试开源的HuggingChat

你可以争论到脸色发青,哪个更好 — AI程序员们也的确在争论 — 但无论如何,TensorFlow和PyTorch都被用于多个项目中。在你最喜欢的AI聊天机器人的幕后,是不同开源项目的混合。

一些顶级程序比如Meta的Llama-2声称它们是开源的。实际上并不是这样。尽管许多开源程序员选择Llama是因为它对开源友好,但当事情变得敏感时,Llama-2并不是开源的。当然,你可以下载并使用它。凭借预训练模型和会话微调版本的模型权重和起始代码,很容易构建基于Llama的应用。只是在许可证中有一个微小的问题:如果你的程序在前一个日历月有超过7亿的活跃用户,你必须向Meta申请许可,而Meta可以酌情决定是否授予你这些权利。

你可以放弃任何成为基于Llama编写的Virtual Girl/Boy Friend的亿万富翁的梦想。马克·扎克伯格会感谢你为他再赚几十亿。

此外:人工智能很像流媒体。插件很快就堆积起来

现在,确实存在一些真正开源的LLM,比如Falcon180B。然而,几乎所有主要的商业LLM都不是真正开源的。请注意,所有主要的LLM都是基于开放数据进行训练的。例如,GPT-4和其他大型LLM的一部分数据来自CommonCrawl,一个包含来自网络的数千兆字节数据的文本存档。如果您在公共网站上写了些东西 – 在Facebook上的生日祝福,Linux上的Reddit评论,Wikipedia的提及,或者在Archives.org上的一本书 – 如果是用HTML编写的,那么您的数据很可能就在那里。

所以,在人工智能业务中,开源是否注定永远是陪嫁,而不是新娘呢?别那么快下结论。

在一份泄露的谷歌内部文件中,一位谷歌AI工程师写道:“不舒服的事实是,我们无法赢得[生成式AI]军备竞赛,OpenAI也是如此。当我们争吵的时候,第三方却悄悄地吃掉了我们的午餐。”

那个第三个参与者?开源社区。

事实证明,您不需要超大规模云或数千台高端GPU来从生成式AI中获取有用的答案。实际上,您可以在智能手机上运行LLM:人们正在Pixel 6上运行基础模型,每秒处理五个LLM tokens。您还可以在笔记本电脑上在一个晚上对个性化的AI进行微调。当您能够在消费级硬件上“在几个小时内个性化一个语言模型”时,工程师指出,“这是一笔大买卖。”确实如此。

另外:生成式AI的伦理学:如何利用这一强大技术

多亏了Fine-tuning机制,例如Hugging Face的开源低秩适应(LoRA),您可以以其他方法的一小部分成本和时间进行模型微调。一个小部分是多少?用消费级硬件在几个小时内个性化一个语言模型声音如何?

谷歌开发人员补充道:

 “LoRA之所以如此有效的一部分原因在于 – 与其他形式的微调一样 – 它是可以堆叠的。像指导调整这样的改进可以应用并在其他贡献者添加对话、推理或工具使用时加以利用。虽然每个微调都是低秩的,但它们的总和不需要是,从而允许模型随着时间的推移累积全秩的更新。这意味着随着新的和更好的数据集和任务的出现,模型可以廉价地保持最新状态,而无需支付全面运行的成本。”

我们的神秘程序员总结道:“与开源直接竞争是一种失败的建议……我们不应该指望能够赶上。现代互联网之所以以开源为基础,是有一些重要的优势,我们无法复制。”

另外:扩展ChatGPT:AI聊天机器人插件真能改变游戏规则吗?

三十年前,没有人梦想到一个开源操作系统可以取代类似Unix和Windows这样的专有系统。也许一个真正开放的、从头到尾的AI程序仅仅需要不到三十年的时间就能压倒我们今天使用的半专有程序。