抬头仰望夜空，面对浩瀚星海，心中无限遐想，虽知遥不可及，却期待能像航海者那样，在星光的指引下破浪而行。银河，凝聚了从古至今人类对宇宙的无限憧憬，也代表了人类智慧对文明科技孜孜不倦，不断探索的精神。
以“银河”命名的吉利旗舰车型E8，不久前刚完成其首秀，内外饰采用了全新的”涟漪”设计语言，并搭载了虚幻引擎为用户提供更具创意、安全、智能的座舱体验，备受公众关注的同时也引入了不少专业领域的话题和讨论。
其实长久以来，智能座舱都无可争议地被视为新能源汽车的”大脑“，无论是内饰的美学设计还是人机界面（HMI）的交互体验，都已成为智能汽车发展道路上引领潮流和迈向成功的重要标志。那么，银河E8智能座舱的设计与实现的目标是什么？怎样依靠实时技术在反复迭代中提升品质？虚幻引擎有哪些技术能帮助团队提升座舱体验？如何利用有限的芯片算力来挑战超大屏幕的实时画质和性能？
上述的几个问题一直以来都是智能座舱/车机（HMI）开发过程中被时常提及和关注的焦点，笔者一时之间也无法给出正确有效的答案，幸运的是后来我在同事的帮助下联络到吉利汽车研究院，得此机会与负责研发银河E8智能座舱的团队一起来深入探讨关于量产车智能座舱的设计、实现、和落地这几个业内最为关心的核心话题。
Q：首先祝贺吉利研究院智能座舱的团队使用虚幻引擎成功研发出银河E8智能车机系统，能否先跟大家先介绍一下团队？
A：在21年的时候，我们开始孵化并建立了一个3D HMI的专项，目标是把游戏行业成熟的3D交互技术，应用在汽车行业的HMI里面，提升智能座舱的”娱乐”体验，并基于这个目标开始构建团队及工具链。核心成员参考了游戏行业的研发团队结构结合汽车行业的特定需求做了“本地化融合”，HMI工具链也根据对游戏引擎的使用经验和项目需求，最终选择了Unreal。团队构成包括模型师、地编、特效师、TA、UE4开发等，负责座舱3D技术相关的前瞻POC及3D HMI产品的全栈落地。
Q：E8 的外观和内饰设计让人耳目一新， 对于车机系统还了解不多，能否结合软硬件先介绍一下？
A：银河E8内外饰设计采用了西湖“涟漪”的设计语言，在智能车机（HMI）方面为了给用户表现出最大的诚意，通过采用8K分辨率的贯穿式高清屏幕+高通8295芯片的硬件组合，来呈现出极致的沉浸式视觉体验。回顾当初设立的这一目标，在智能车机领域当时还鲜有项目落地，团队从8295-DHU到实现8K-全屏的3D引擎渲染，可以说一路上处处充满了挑战。虽然高通8295在行业里已经是最顶级的车规级芯片，但对于8K屏幕、驾驶、娱乐一拖三的产品需求来说，仍然是充满了未知。
Q：当时市面上大多数车型搭载的芯片还都处于高通8155这个代次，吉利研究院最初出于哪些考虑要为E8的车机选用新一代的高通骁龙8295芯片？
A：E8作为吉利银河的首款纯电旗舰车型，希望能给到用户的是高价值感的产品，在座舱和HMI的层面需要给用户提供最高的硬件配置、最安全的平台架构，最强的软件工具和最好的用户体验，以当时行业内普遍应用的8155芯片算力来讲，无论是在测试数据还是落地项目的表现方面都无法达到E8的既定目标和满足相应的需求，所以很快就决定放弃8155，选用高通下一代具有更高算力的8295芯片。
Q：近几年市场上可选择的3D引擎和HMI开发工具也不少，能否讲下最终选择用虚幻引擎来开发的原因和过程？
A：在公司层面：项目开发上需要纯自研车机系统（ 银河N OS） 进行代码级融合，作为一款3D引擎：Unreal不仅有行业领先的视觉渲染效果，还提供了开发车机系统的定制化引擎，最重要的是源码全部开源，方便我们做二次开发和功能定制，在性能上也有更宽域的压榨空间。在团队执行层面，首先大家公认游戏引擎的能力和可拓展性相比传统工具更强，在后来的引擎选型方面，主要是在Unreal、Unity、Cocos这几款商业引擎中选择，Unreal在PC/主机类游戏里有着完整的工具链生态及高品质渲染的优点，强大的交互和渲染能力带来的是移动端基础包体存储的增加；Unity在智能手机生态兴起时上市并在移动端得到广泛的应用，大量的移动端引擎的开发者，是首批为移动端低功耗而诞生的引擎，包体大小灵活可控，但在渲染品质和可拓展性上相对较弱，需要有团队具有较强的渲染管线定制的能力；Cocos同Unity一样是智能手机兴起时诞生的2D引擎，有较多数量的开发者和较高的使用率，通过后续的更新了加入了3D引擎的模块，优点也是轻量化+国产引擎。基于以上的研究和对于HMI视觉品质的需求，我们最终选择了Unreal，同时也对Epic Games团队的技术能力和支持力度表示由衷的感谢。
Q：团队在实现将虚幻引擎整合到银河N OS无界的过程中有遇到过哪些挑战？
A：首先就是关于芯片平台的问题，因为银河E8是首批用到8295芯片的车型，在开发DHU的主板时就遇到了很大的阻碍和难度；之后就是解决8K分辨率的贯穿式长屏的显示，无论从DHU芯片平台的视频驱动上，还是引擎渲染窗口的负载率上，都需要面对很大的挑战；在开发过程中，设计与开发的分离，也对落地的实现还原效果以及性能损耗造成了一定流程上的阻力；在内容制作过程中，8K屏幕的抗锯齿方案的选择上，也给我们带来了比较大的困扰，是选择FXAA还是TAA，是选择低性能还是接受一定的性能损耗，最后我们还是选择了TAA，在保持住整体视觉效果的基础上，后面再通过其他手段来优化性能。
Q：用户可以在银河N OS无界上体验到哪些使用虚幻引擎开发的应用场景？
A：在银河N OS无界中，我们首次引入了还原真实世界以及数字孪生的概念；进入车机系统，首先映入眼帘的就是具有视觉震撼力的一个桌面场景，我们称之为灵境无界的3D主题，在场景中我们融入了富有中国韵味的西湖元素，搭配银河E8特有的涟漪美学，表现出一个既真实又虚幻，既有科技感又富有诗意的环境氛围；
我们还运用虚幻引擎的特性，设计了跟随时间变化的环境光照，美轮美奂的雨雪天气，当用户打开车门进入座舱，点点星光从门开的一侧飘向另一侧，这些都是依靠虚幻引擎赋予的能力所实现；在数字孪生方面，我们在桌面上放置了银河E8的可交互车模，用户可以方便快捷的控制大灯、门窗、后备箱等；其他功能比如车辆的运动模式，空调的吹风效果，车控的效果示意等等也都是通过虚幻引擎开发实现的；并且在后续的智驾版本中加入了银河辅助驾驶，自动泊车，记忆泊车等功能，还可以通过虚幻引擎搭建虚拟视图，可以说在银河N OS无界版中，几乎每一处都使用了虚幻引擎的能力。
Q：这些实时交互的场景是在虚幻引擎哪个版本上开发的？从idea 到落地上车大致是怎样的一个开发流程？
A：虚幻 4.27 车机定制版流程-概念提出、需求分析、界面概念设计、美术3D引擎还原、引擎软件开发、整车功能集成、引擎和系统优化、上车测试交付。
Q：在HMI的开发过程中有哪些虚幻引擎的功能或工具对项目帮助比较大？
A：开发：Level：流关卡在一镜到底和场景切换得流畅和资变体：运行时资产管理方便快捷Sequencer：结合Level创建得Level Sequences让转场动画得制作更高效还有常用得蓝图(动画、材质)、lightmap、后效等优化：Insights：启动耗时优化工具FrontEnd：性能优化工具命令行控制台：stat 系列、MemReport等除了以上虚幻提供得工具外，还结合一些外部工具提高更好得使用效果和便捷性，比如：安卓工具：AndroidStudio Profile、SnapDragon（产看GPU使用率，busying脉冲耗时占比）、RenderDoc、BootChart（查看启动时系统资源竞争关系）Linux工具：adb top |dumpsys、bind（绑和操作）QNX：busyboxDebug（查看GPU、显存等）可视化编程：虚幻引擎提供了蓝图系统，允许开发人员使用可视化的节点来创建逻辑和交互。这对于设计和实现HMI中的各种交互逻辑非常有用。高品质渲染：虚幻引擎拥有先进的渲染引擎，可以实现高质量的图形效果。这对于创建逼真的用户界面和可视化效果至关重要。车辆动力学仿真：如果项目涉及到与车体对象的交互，虚幻引擎的物理仿真系统可以帮助模拟真实世界中的物理效果，从而增强HMI的真实感和交互性。多平台支持：虚幻引擎支持多种平台，包括PC、主机、移动设备等，这意味着开发的HMI可以轻松地在不同的设备上部署和运行。工具：Insights（查看cpu消耗）、FrontEnd、Stat（Mesh合批、drawcall的优化）安卓工具：AndroidStudio Profile、SnapDragon（产看GPU使用率，busying脉冲耗时占比）、RenderDoc、BootChart（查看启动时系统资源竞争关系）Linux工具：adb top |dumpsys、bind（绑和操作）QNX：busyboxDebug（查看GPU、显存等）
Q：最终package部署上车之后在屏幕上实际呈现的分辨率和运行效率是多少？调试过程中最大的难点是什么，如何解决的？
A：分辨率：7680*936 (8K)性能参数：CPU:34%(单核)、GPU:40%、内存(700M)、显存(700M)最大的难点还是集中在这个8K屏幕上，产品需要 “一镜到底、即时响应”之外还要兼顾系统消耗占用最低、运行流畅无卡顿和最优视觉效果，做了如下的解决方案：• 动态帧策略：HMI在前台锁定25帧，除此之外在其他场景下会设置15fps、5fps以及freeze三挡策略，来优化系统的占比• 分层资源管理：2D和3D的资产占比在1:9，除了车模常驻在内存外，其他资源都是通过后台静默加载来无缝衔接镜头切换，做到体验丝滑无卡顿• UE4和车机系统交互策略：车机信号和触控作为HMI的唯二信号源，我们对数据链路进行了即时和缓存的区分；此外在场景对高频信号的“无序”且“反复”的处理上做了2级缓存和分类。
Q：在银河E8这个HMI的项目上，虚幻引擎与传统工具相比有什么优势？
A：最大的优势就是工具链和能力比较全，基础的DCC到关卡导入的地编的工具与流程很便捷；独特的蓝图功能，覆盖了关卡蓝图、普通蓝图、gameplay蓝图、材质蓝图，可以通过蓝图节点来对逻辑、材质、转场等功能进行快速实现，加速了POC和后期项目工程开发的进度；