直以来,苹果在大模型、语音助手上的研究不断推陈出新,或许我们能够从中获得iOS 18所具备AI能力的关键一瞥。
「Siri太笨,根本无法与ChatGPT竞争」,前苹果工程师John Burkey曾对Siri的评价如此不堪。
不过,诞生于11年的Siri,终于要迎来翻身的机会。
ChatGPT横空出世之后,微软、谷歌等科技巨头,甚至OpenAI、Anthorpic AI等初创,都在你追我赶激烈地角逐。
在AI竞赛上,苹果却一直姗姗来迟。
其实,早有传言和报道称,在过去几个月中,苹果实际上一直再等待一个时机,做出反击。
先是与谷歌谈判被爆出,后是与OpenAI开展合作,预计将AI模型能力整合进下一代iOS 18系统中。
除此以外,苹果研究团队也在一直开发自己的模型——Ajax。
而且,最近几个月,苹果在大模型等研究上的成果频出,意味着这些AI能力可能会成为现实。
距6月开发者大会WWDC,也就不过一个月左右的时间,或许我们可以从这些研究中,一瞥苹果的AI能力。
更小、更高效LLM装进iPhone
相信所有人的期望都是一样的——想要一个更好的Siri。
而现在看起来,换新的Siri即将到来,完成超强进化!
ChatGPT之后,大模型诞生的数量也是数不胜数,然而许多科技公司都希望LLM能够赋能虚拟助手,让其变得更优秀,更智能。
对于苹果来说,想要让Siri不再被人,说笨就需要尽快构建这些模型,让其能装进手机。
彭博最近报道,在iOS 18中,苹果计划让所有AI功能,都运行在设备上,而且可以完全离线使用。
而现在的困难是,即便你有一个数据中心和数千个GPU组成的网络,要建立一个良好的多用途的模型,并装进手机,是非常困难的。
因此,苹果不得不发挥创意。
在一篇名为LLM in a flash: Efficient Large Language Model Inference with Limited Memory的论文中,研究人员设计了一个系统,可以将通常存储在设备RAM中的模型数据,存储到固态硬盘(SSD)上。
论文地址:https://arxiv.org/pdf/2312.11514
具体来说,研究证明了,在SSD上运行的LLM的大小,可以达到可用DRAM的2倍。
与传统的CPU加载方法相比,推理速度提高了4-5倍,而GPU提高了20-25倍。
他们发现 ,通过利用设备上最廉价的可用存储模型,模型可以运行得更快、更高效。