2024 年 5 月 7 日,《The Information》报道,微软正在开发一个拥有大约 5000 亿个参数的大语言模型(LLM)。
这标志着微软自从往 OpenAI 投资逾 100 亿美元,以便可以重复使用这家初创公司的 AI 模型以来,首次自行开发这等规模的 AI 模型。
该 LLM 在微软内部被称为 MAI-1,预计最早将于本月首次亮相。
OpenAI 在 2020 年年中推出 GPT-3 时,详细说明该模型的初始版本有 1750 亿个参数。该公司透露,GPT-4 更庞大,拥有更多的参数,但尚未透露具体数字。
一些报道显示,OpenAI 的旗舰 LLM 拥有 1.76 万亿个参数,而谷歌的 Gemini Ultra 据称拥有 1.6 万亿个参数,性能与 GPT-4 旗鼓相当。
微软的 MAI-1 拥有 5000 亿个参数,这表明它可能被定位为介于 GPT-3 和 GPT-4 之间的某种中档模型。这样的配置将允许模型提供高响应准确度,但耗用的功率比 OpenAI 的旗舰 LLM 低得多。言外之意,这将为微软带来更低的推理成本。
开发 MAI-1 的工作由 LLM 开发商 Inflection AI Inc.的创始人 Mustafa Suleyman 监管。
Mustafa Suleyman
今年 3 月,通过一笔价值 6.25 亿美元的交易,Suleyman 和这家初创公司的大多数员工一起加入了微软。这位高管早些时候与他人共同创立了谷歌的DeepMind AI 研究部门。
微软可能使用 Inflection AI 的训练数据及另外某些资产来驱动 MAI-1。
据称,该模型的训练数据集还包含多种类型的信息,包括 GPT-4 和互联网内容生成的文本。
为《The Information》提供信源的知情人士表示,微软尚未决定它将如何使用 MAI-1。如果这个模型确实拥有 5000 亿个参数,那么它太过复杂了,无法在消费级设备上运行。这意味着微软很可能会将 MAI-1 部署在其数据中心,那样 LLM 可以集成到必应和 Azure 之类的服务中。
据信,微软可能会在 5 月 16 日召开的 Build 开发者大会上展示MAI-1,如果到时候该模型的表现足够令人满意的话。这暗示该公司预计会在几周内推出该模型的工作原型(如果目前还没有工作原型的话)。
就在不到两周前,微软刚刚开源了一种名为 Pi-3 Mini 的语言模型。据微软声称,这种模型仅拥有 38 亿个参数,但性能却比参数多 10 倍的 LLM 更胜一筹。Pi-3 是一个 AI 系列的一部分,该系列还包括另外两个更庞大的、性能略胜一筹的神经网络。
开发 MAI-1表明微软内部对 AI采取了双管齐下的做法,既关注面向移动设备的本地运行的小型语言模型,也关注由云支持的大型先进模型。据报道,苹果也在探索类似的做法。这也凸显了微软不依赖OpenAI 探索 AI 开发的意愿,OpenAI的技术目前支持微软最雄心勃勃的生成式 AI 功能,包括嵌入到 Windows 中的聊天机器人。