苹果 AI 新突破:在 iPhone 上部署大型语言模型成为可能

作者:小编 更新时间2023-12-22 09:41:52 点击数:

苹果公司的人工智能研究人员表示,在将大型语言模型(LLMs)部署到 iPhone 和其他内存有限的苹果设备上取得了关键性突破。他们发明了一种创新的闪存利用技术,可有效应对内存限制问题。

202311060852081809_0.jpg

LLMs 与内存限制

像 ChatGPT 和 Claude 这样基于 LLM 的聊天机器人,通常需要大量的数据和内存才能运行。对于内存容量有限的设备如 iPhone,这是一个挑战。苹果研究人员开发了一种新技术,利用闪存(即存储您的应用和照片的内存)来存储 AI 模型的数据

闪存中的 AI

在名为「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」的新研究论文中,作者指出移动设备中的闪存比传统用于运行 LLMs 的 RAM 更为丰富。他们的方法巧妙地绕过了这一限制,使用了两种关键技术来最小化数据传输并最大化闪存吞吐量:

窗口化技术: 这可以看作是一种回收方法。AI 模型不是每次都加载新数据,而是重用它已经处理的一些数据。这减少了对持续内存提取的需求,使过程更快更顺畅。

行列捆绑技术: 这种技术类似于一次阅读更大的数据块,而不是一次一个单词。通过更高效地分组数据,可以更快地从闪存中读取数据,加快 AI 理解和生成语言的能力。

这些方法的结合使 AI 模型能够运行的规模达到 iPhone 可用内存的两倍。据论文称,这将使标准处理器(CPU)上的速度提高 4-5 倍,图形处理器(GPU)上的速度提高令人印象深刻的 20-25 倍。作者写道:「这一突破对于在资源有限的环境中部署先进的 LLMs 至关重要,从而扩大了它们的应用范围和可及性。」

iPhone 上的更快 AI

这一 AI 效率的突破为未来的 iPhone 开启了新的可能性,如更先进的 Siri 功能、实时语言翻译和在摄影和增强现实中的复杂 AI 驱动功能。此技术还为 iPhone 上运行复杂的 AI 助手和聊天机器人铺平了道路,据悉苹果公司已在研究这方面的应用。

苹果公司正在开发自己的生成式 AI 模型「Ajax」,据称在设计上能与 OpenAI 的 GPT-3 和 GPT-4 相媲美。Ajax 运行在 2000 亿参数上,表明其在语言理解和生成方面的高度复杂性和能力。内部称为「Apple GPT」的 Ajax 旨在统一苹果公司的机器学习开发,表明了将 AI 更深入地整合到苹果生态系统中的更广泛战略。

最新报道,Ajax 被认为比早期的 ChatGPT 3.5 更有能力。然而,也有人认为,截至 2023 年 9 月,OpenAI 的新模型可能已超越了 Ajax 的能力。

根据《The Information》和分析师 Jeff Pu 的说法,苹果预计将在 2024 年晚些时候在 iPhone 和 iPad 上推出某种生成式 AI 功能,届时将发布 iOS 18。据称,苹果计划提供云端 AI 和设备上 AI 处理的结合。