首页 > 生活分享 > 免费教学 > 微软将推出自研 5000 亿个参数的大模型:MAI-1

微软将推出自研 5000 亿个参数的大模型:MAI-1

发布时间:2024-05-07 22:57:48来源: 15210273549

2024 年 5 月 7 日,《The Information》报道,微软正在开发一个拥有大约 5000 亿个参数的大语言模型(LLM)。

 

这标志着微软自从往 OpenAI 投资逾 100 亿美元,以便可以重复使用这家初创公司的 AI 模型以来,首次自行开发这等规模的 AI 模型。

该 LLM 在微软内部被称为 MAI-1,预计最早将于本月首次亮相。

OpenAI 在 2020 年年中推出 GPT-3 时,详细说明该模型的初始版本有 1750 亿个参数。该公司透露,GPT-4 更庞大,拥有更多的参数,但尚未透露具体数字。

一些报道显示,OpenAI 的旗舰 LLM 拥有 1.76 万亿个参数,而谷歌的 Gemini Ultra 据称拥有 1.6 万亿个参数,性能与 GPT-4 旗鼓相当。

微软的 MAI-1 拥有 5000 亿个参数,这表明它可能被定位为介于 GPT-3 和 GPT-4 之间的某种中档模型。这样的配置将允许模型提供高响应准确度,但耗用的功率比 OpenAI 的旗舰 LLM 低得多。言外之意,这将为微软带来更低的推理成本。

开发 MAI-1 的工作由 LLM 开发商 Inflection AI Inc.的创始人 Mustafa Suleyman 监管。

 

Mustafa Suleyman

 

今年 3 月,通过一笔价值 6.25 亿美元的交易,Suleyman 和这家初创公司的大多数员工一起加入了微软。这位高管早些时候与他人共同创立了谷歌的DeepMind AI 研究部门。

微软可能使用 Inflection AI 的训练数据及另外某些资产来驱动 MAI-1。

据称,该模型的训练数据集还包含多种类型的信息,包括 GPT-4 和互联网内容生成的文本。

为《The Information》提供信源的知情人士表示,微软尚未决定它将如何使用 MAI-1。如果这个模型确实拥有 5000 亿个参数,那么它太过复杂了,无法在消费级设备上运行。这意味着微软很可能会将 MAI-1 部署在其数据中心,那样 LLM 可以集成到必应和 Azure 之类的服务中。

据信,微软可能会在 5 月 16 日召开的 Build 开发者大会上展示MAI-1,如果到时候该模型的表现足够令人满意的话。这暗示该公司预计会在几周内推出该模型的工作原型(如果目前还没有工作原型的话)。

就在不到两周前,微软刚刚开源了一种名为 Pi-3 Mini 的语言模型。据微软声称,这种模型仅拥有 38 亿个参数,但性能却比参数多 10 倍的 LLM 更胜一筹。Pi-3 是一个 AI 系列的一部分,该系列还包括另外两个更庞大的、性能略胜一筹的神经网络。

开发 MAI-1表明微软内部对 AI采取了双管齐下的做法,既关注面向移动设备的本地运行的小型语言模型,也关注由云支持的大型先进模型。据报道,苹果也在探索类似的做法。这也凸显了微软不依赖OpenAI 探索 AI 开发的意愿,OpenAI的技术目前支持微软最雄心勃勃的生成式 AI 功能,包括嵌入到 Windows 中的聊天机器人。

免费教学更多>>

全球首秀!奔驰无图高阶智驾技术挑战上海城区跨江行,智能驾驶越来越懂中国|进博天花板 千呼万唤始出来,梅赛德斯-奔驰纯电G级将于2024广州车展上市 全新日产楼兰、森林人曝光,雷克萨斯RX大降价,日系SUV爆发了? 2024 款丰田卡罗拉混合动力车评测:经济实惠 向丰田发起冲击?比亚迪单月销量首破50万辆大关 2025 款宝马 M5 旅行车:酷炫 M5 带来的欢乐时光 遮阳伞和雨伞没区别?少混用 营养专家:一个瑞士卷相当于一碗饭 何炅逐句为吴昕分析主持问题 马斯克:苹果若作恶特斯拉就造手机 瑞士卷当事人称非常后悔并抱歉 周润发刘嘉玲权志龙合照 海马体创始人发声 羽绒服涨价了 竟与猪价有关 老人没苦硬吃是为了填补安全感 加拿大偶遇姚笛 李若彤和李雯雯穿马面裙同框 经济日报:刹住低俗微短剧坑老歪风 律师谈宝妈吃瑞士卷被疑剧本 这些经济数据透露出哪些信号 撞上劳斯莱斯的货车只有100万保险 5万公里的大众迈腾车主亲测:这样开车,车子真不会产生积碳 东风汽车1-10月新能源销量70万辆 同比增长82.3% 吉利星愿确实赚足了眼球,但一定值得入手?不妨看看五菱缤果SUV 揭秘长安“发展密码”:数智赛道“先锋” 新大洲本田2025款CB190TR上市,售价12980元,这次算醒悟吗? 终端优惠大,但销量略显拉胯,近距离体验广汽本田ZR-V致在 本田出手了,中型车跌至12.98万起,空间大又省油,家用挺划算! 选车还看可靠性!长安福特蒙迪欧、锐界L获评细分市场可靠性第一 月销50万辆再创纪录,比亚迪巨额研发投入迎来收获期