金秋十月，各大消费电子公司轮番登场，展示最新的产品和技术，智能体成为了新主角。
vivo展示了手机智能体 PhoneGPT可以在了解需求后自动在餐厅订座，联想AI智能体联想AI Now可以化身老师给学生出题。
随后，荣耀跨应用开放生态智能体的个人化全场景AI操作系统MagicOS 9.0将推出，OPPO ColorOS 15系统也将AI从单点功能升级到系统集成。
手机和PC普及智能体的趋势越来越明显，对于强大AI处理器的需求也越来越高。
作为端侧AI的领导者，高通也为端侧智能体的落地做好了技术和产品的准备。
2023年高通骁龙峰会，高通展示了一系列基于第三代骁龙8的手机AI应用，结合手机摄像头和位置信息的前瞻应用终端侧AI助手让人眼前一亮。
今年2月份，高通在MWC巴塞罗那演示了全球首个在Android手机上运行的多模态大模型（LMM），以及基于骁龙X Elite平台运行的70亿参数的多模态大模型(LMM)，为智能体在手机和PC上的落地奠定了基础。
10月22日将举办的2024骁龙峰会，高通将展示最前沿的终端侧AI新应用。让人期待的是，高通将发布首款集成了定制高通Oryon CPU的新一代骁龙8系旗舰移动平台，CPU和AI性能的提升会有多惊人？基于更强大的AI性能和不断进化的AI软件栈，高通将激发出包括智能体在内的新一轮AI应用创新。
混合AI已成共识，智能体时代到来
在进一步探讨智能体以及未来端侧AI的发展前，不要忽略混合AI已经成为行业共识，以及轻量级的生成式AI模型性能足够好的前提。
以ChatGPT为代表的生成式AI是在2022年后迎来爆发，生成式AI一系列超越想象的功能，最初都是基于云端千亿参数的大模型的能力。
《高通AI白皮书》中提到，每一次基于生成式AI的网络搜索查询，成本是传统搜索的10倍。
生成式AI要普及，需要成本能被大众接受，并且体验不差，混合AI是理想的选择。
所谓混合AI，就是在需要即时感知即时处理的情况下使用设备上的AI模型，在需要更多计算能力、任务更复杂时使用云端的AI模型。这让混合AI兼具性能、成本、时延、隐私等优势，已经成为巨头押注的方向。
无论是今年微软Build大会推出的全新的PC品类Copilot+ PC（Windows 11 AI+ PC），还是谷歌I/O宣布将AI嵌入到了安卓操作系统，以及苹果Apple Intelligence重视使用户数据在本地完成处理，减少对云端的依赖，都表明混合AI已经成为行业共识。
高通早在2007年就启动首个AI研究项目，一直主张以终端为中心的混合AI，也就是让终端充当锚点，云端仅用于分流处理终端无法充分执行的任务。
大谈智能体的手机和PC厂商进一步利用和延展以终端为中心的混合AI，用智能体为终端AI带来体验的革新。
荣耀以用户日常“取消APP自动续费”需要经过7步人工操作的步骤为例，展示了拥有荣耀AI智能体的MagicOS 9.0后，用户只需要一句话即可完成复杂操作。
荣耀CEO赵明将荣耀AI智能体形象地比喻为手机内的“自动驾驶”，并表示最大化实现用户价值呈现的AI智能体，应具有自然语义理解和计算机视觉、用户行为习惯学习和场景环境感知、意图识别及决策能力、应用内及跨应用操作四大核心能力。
联想也有相似的AI智能体核心理念，联想表示要实现横跨多个设备、横跨多个生态系统的无缝、安全的AI体验。
基于这一核心理念，联想发布了联想AI Now智能体。
要实现跨应用、跨设备甚至跨生态的智能体，多模态大模型是基础。
就像人类需要利用各种感官学习，多模态生成式AI模型可基于一系列模态进行训练，包括文本、图像、语音、音频、视频、激光雷达等传感器数据，让生成式AI模型更加智能。
多模态大模型已经成为AI发展的方向，行业领先的OpenAI GPT-4V、谷歌Gemini在云端使用不同模态的数据训练多模态大模型。
集成了各种传感器和丰富本地情境信息的手机和PC是理想的多模态大模型落地的载体。搭载高通高性能AI骁龙平台的终端设备，能够带来更高的隐私、安全性和更好的个性化体验，以及对多模态大模型的支持。
高通的多模态AI先行一步
高通AI研究在今年2月演示的全球首个在Android手机上运行的多模态大模型，展示的是一个超过70亿参数的大语言和视觉助理大模型(LLaVA)，可以接受包括文本和图像在内的多种类型的数据输入，并生成关于图像的多轮对话。
通过全栈AI优化，LLaVA能够在搭载第三代骁龙8移动平台的参考设计上以实时响应的速度在终端侧生成token。
高通同时演示了搭载骁龙X Elite的Windows PC上运行超70亿参数的多模态大模型，可接受文本和环境音频输入（如音乐、交通环境音频等），并基于音频内容生成多轮对话。
能够率先支持多模态生成式AI模型，离不开高通在AI领域的持续投入以及领先的技术和产品。
生成式AI爆发后不久的2023年初的MWC，高通就展示了全球首个运行在Android手机上的Stable Diffusion终端侧演示。
2023年底，骁龙移动平台运行的AI大模型的参数从10亿陡增至100亿，运行Stable Diffusion模型的速度从年初的不到15秒缩短至1秒以内，提升幅度和速度惊人。
2024年初，高通推出高通AI Hub，为骁龙和高通平台提供丰富的经过优化的AI模型，开发者只需通过几行代码即可在搭载高通平台的云托管终端上自行运行这些模型。
高通也已经先行一步，推出了高通AI规划器（Qualcomm AI Orchestrator），为智能体未来成为手机和PC上的亮点奠定基础。
高通AI规划器利用存储在终端侧的用户情境信息，如喜欢的饮食、锻炼习惯、常用联系人和消息、过往偏好历史等作为个人知识图谱，以更好地理解用户意图。
