你的智能手机很快可以运行人工智能任务吗？联发科技说可以
Can your smartphone run AI tasks soon? MediaTek says it can.
生成式人工智能（Generative AI）是目前最热门的增长技术之一，OpenAI的ChatGPT和Google的Bard使用它进行聊天，而像Stable Diffusion和DALL-E等图像生成系统也在使用它。然而，由于这些工具需要使用云数据中心中的数百个GPU执行每个查询所需的计算过程，因此它们也存在一定的局限性。
但有一天，您可以直接在移动设备上运行生成式人工智能任务。或者在您的连接汽车上运行。或者在您的客厅、卧室和厨房中，在像Amazon Echo、Google Home或Apple HomePod这样的智能音箱上运行。
此外：您的下一部手机将能够运行生成式人工智能工具（即使处于飞行模式）
联发科技（MediaTek）相信这个未来比我们意识到的更近。这家总部位于台湾的半导体公司今天宣布，他们正在与Meta合作，为其最新一代APU和NeuroPilot软件开发平台移植这家社交巨头的Lllama 2 LLM，以在设备上运行生成式人工智能任务，而无需依赖外部处理。
当然，这并不是完全淘汰数据中心。由于LLM数据集的大小（它们所包含的参数数量）和存储系统所需的性能，仍然需要一个数据中心，尽管规模要小得多。
例如，Llama 2的“小”数据集包含70亿个参数，约13GB，适用于一些基本的生成式人工智能功能。然而，一个更大的版本，拥有720亿个参数，需要更多的存储空间，即使使用先进的数据压缩技术，也超出了当今智能手机的实际能力。在未来几年内，正在开发中的LLM将比Llama 2或GPT-4大10到100倍，存储需求将达到数百GB甚至更高。
对于智能手机来说，这很难存储并提供足够的IOPS以实现数据库性能，但对于专门设计的带有快速闪存存储和TB级内存的缓存设备来说，这并非难事。因此，对于Llama 2来说，现在已经可以在一个机架单元中托管一个为移动设备提供优化服务的设备，而无需进行大量的计算。虽然它不是一部手机，但仍然非常令人印象深刻！
此外：2023年最佳AI聊天机器人：ChatGPT和其他替代方案
联发科技希望基于Llama 2的AI应用程序将在他们下一代旗舰SoC（预计今年年底上市）所搭载的智能手机上提供。
要使设备上的生成式人工智能能够访问这些数据集，移动运营商需要依赖低延迟的边缘网络，即与5G基站连接快速的小型数据中心/设备间。这些数据中心将直接位于运营商的网络上，因此在智能手机上运行的LLM无需经过多次网络跳转即可访问参数数据。
除了使用像联发科技这样的专用处理器在设备上运行AI工作负载之外，领域特定的LLM也可以通过与这些缓存设备混合方式在小型数据中心内接近应用工作负载，实现在“受限设备边缘”场景中的运行。
此外：这是我最喜欢的5个工作AI工具
那么，在设备上使用生成式人工智能有哪些好处呢？
- 降低延迟：因为数据在设备本身上进行处理，所以响应时间大大降低，尤其是如果经常访问参数数据集的部分采用了本地缓存方法。
- 提高数据隐私：通过将数据保存在设备上，用户提交的数据（例如聊天对话或训练）不会通过数据中心传输，只有模型数据会。
- 提高带宽效率：如今，生成式人工智能任务需要将所有用户对话的数据来回传输到数据中心。通过本地处理，其中有很大一部分在设备上完成。
- 增加运行可靠性：使用设备上的生成式人工智能，即使网络中断，系统仍然可以正常运行，尤其是如果设备具有足够大的参数缓存。
- 节能：它不需要数据中心中那么多计算密集型资源，也不需要将数据从设备传输到数据中心时消耗那么多能源。
然而，实现这些好处可能涉及分割工作负载并使用其他负载均衡技术来减轻集中式数据中心的计算成本和网络开销。
除了对快速连接的边缘数据中心（尽管计算和能源需求大大降低）的持续需求外，还有另一个问题：在今天的硬件上真正可以运行多强大的LLM？虽然不太担心设备上的数据在网络上被拦截，但如果不正确管理，敏感数据在本地设备上被渗透的安全风险增加了，同时还面临着在大量分布式边缘缓存设备上更新模型数据和维护数据一致性的挑战。
此外：边缘到云端如何推动数字转型的下一个阶段
最后，还有成本问题：谁将为所有这些小型边缘数据中心买单？边缘网络今天由边缘服务提供商（如Equinix）使用，这是Netflix和苹果的iTunes等服务所需的，传统上不是移动网络运营商，如AT&T、T-Mobile或Verizon。生成式AI服务提供商，如OpenAI/Microsoft、Google和Meta，需要制定类似的安排。
在设备上的生成式AI有很多考虑因素，但很明显，技术公司正在思考这个问题。在五年内，你的设备上的智能助手可能会自己思考。准备好将AI放在口袋里了吗？它即将到来，而且比大多数人预期的要早得多。
