近日,在MWC 2024上海大会上的演讲中,联想集团副总裁、联想研究院上海分院院长、智能设备与方案实验室负责人毛世杰表示,AI赋能的行业元宇宙已成为产业升级的新载体。
元宇宙是数字与物理世界融通作用的沉浸式互联空间,是新一代信息技术集成创新和应用的未来产业,是数字经济与实体经济融合的高级形态。毛世杰表示,联想打造了一系列AI赋能的行业元宇宙核心技术,并基于此打造了AI赋能的、基于3D技术的具身智能设备、元宇宙软件平台,以及端到端行业解决方案。
在元宇宙关键技术层面,联想研究院聚焦3D构建、强物理感知、多模态交互以及自适应控制等领域。
在3D构建方面,通过AI 实现三维内容的高拟真、低成本构建。基于AI(NeRF,3DGS) 高拟真三维重建技术,解决传统 3D 模型混合渲染问题、行人伪影、Mesh优化等问题;通过可见光与红外图像精确配准技术,实现混合视觉模态的模型构建;并积极探索面向垂直领域模型的AIGC 3D 生成技术。
在强物理感知方面,通过视觉大模型显著提升对物理世界的检测识别能力。基于Stable Diffusion 微调的缺陷样本生成技术和基于 SAM 的 one shot/few shot 检测技术提升传统小模型性能;通过视觉大模型将异常检测从特征层面提升到语义层面,实现正样本检测能力;并基于视觉语言大模型实现Open Vocabulary 的语义检测。
在多模态交互方面,通过AI技术解决人与空间、设备、任务的高效交互问题。开发基于AI 特征端侧优化的高精度 SLAM 空间定位,实现沉浸式的 3D 空间交互;基于LLM 与设备动作库(原子动作指令的组合)的高效操控,实现专业设备自然的语言操控;并基于大模型和工作流的复杂任务部署,高效、便捷地部署端到端任务。
在自适应控制方面,联想研究院基于3D 仿真的 AI 强化学习提升机器人自适应控制技能。具体而言,通过3D 仿真环境和深度强化学习 DRL 的步态库构建,降低机器人控制算法训练成本;基于3D 仿真的的落脚点规划技术,提升规划算法学习效率;并探索VLA 视觉语言动作大模型,实现端到端具身智能。
基于这些核心技术,联想打造了“2+1+N“的产品和方案布局,即2类硬件——晨星XR眼镜和机器人,一个平台——晨星元宇宙平台,以及N个元宇宙行业解决方案。
晨星XR眼镜和机器人
早在2012年,联想开始积极探索XR技术的落地应用,陆续推出G1、G2、NewG2、NewG2 Pro、G2 light等各种XR眼镜设备,以满足巡检、远程、实训、展示等元宇宙的诸多场景需求。
除了XR眼镜,工业机器人也是联想研究院的重点聚焦领域之一。在4月的联想创新科技大会上,联想研究院发布了最新的融合了具身智能的晨星工业机器人,也是联想首款自研足式机器人 —— 联想晨星足式机器人GS (Daystar Bot GS),以及其轻量化的版本——联想晨星足式机器人IS(Daystar Bot IS)。
这款GS机器人由联想研究院和上海交通大学联合打造,六足的设计使其具备复杂地形的高通过能力,可全天候在室内外大场景下完成常规特种任务,可实时监测设备状态及进行应急操作。
更重要的是,它已不仅是一台机械设备,更是融入了具身智能,是一台拥有感知、思考和行动能力的智能体。
在GS/IS问世前,联想研究院已打造了数个版本的晨星工业机器人,并应用在了电力巡检、远程工厂巡视、大飞机喷漆等场景中。
晨星元宇宙平台
6月26日,在2024上海MWC大会现场,联想研究院上海分院正式发布了自主研发的软件平台——联想晨星元宇宙平台(Daystar World)。它是国内首个软硬一体元宇宙平台,基于计算机视觉以及生成式人工智能(AIGC)等前沿技术而打造。通过产学研用的联合攻关,联想晨星元宇宙平台突破了物理世界高拟真3D重建、三维数字底板构建、仿真预测、虚实交互与联动等业界难题。
该平台能够进行拖拉拽式的快速低代码元宇宙空间构建,还能通过与自研设备(联想晨星XR眼镜、机器人、智能相机等)联动,形成端到端方案交付,实现机器人部署仿真、XR内容编排、AI检测、数字孪生等一系列功能。
行业元宇宙解决方案
基于晨星XR眼镜、工业机器人以及元宇宙平台,联想研究院打造了各种各样的行业智能化解决方案,赋能了电力、汽车、教育、文旅等众多的行业和企业。
比如,落地国家电网/南方电网220KV变电站足式机器人巡检方案,使用晨星元宇宙平台实现虚拟部署,通过性能出色的足式机器人,支持25 类缺陷、9类表计和7 种设备状态的识别算法,表计读数准确率>95%,缺陷识别检出率>95%,状态识别准确率>99%,智能运维成本降低70%。
再比如,产业园区分布式光伏发电站无人机巡检解决方案,基于晨星元宇宙航线规划和任务管理的全自主无人机巡检;先进的热斑检测算法,能够及时发现异常发热;利用无人机RTK 精准定位测绘 三维重建技术 实现发热区域精准定位;自动标定后,及时发现和定位光伏板的异常发热区域并完成自动喷淋清洁。32栋常规办公楼全面巡检只需 20 分钟,精确定位缺陷坐标,无需人工目检。
除此之外,在汽车制造、文旅等行业,联想研究院也打造了有针对性的元宇宙解决方案,赋能了吉利路特斯AI质检,以及应县木塔文化遗产的研究和保护等项目。