东软集团：OneSight车载AR软件助力智能汽车人机交互方式升级

回顾智能汽车在人机交互领域的演进，可概括为三个阶段:初期依赖机械按钮的传统交互，中期引入触控屏与初步语音控制。当前正处于智能与多模态交互的快速发展期，车载显示、智能语音、OMS/DMS等技术的融合极大提升了交互体验，实现了基于场景的主动服务。

东软集团汽车智能创新解决方案事业部产品总监林裕佳在人机交互的软件领域拥有丰富经验，包括地图导航、车联网生态应用、车载AR软件、整车SOA等产品领域，曾主导完成东软OneCoreGo3.0，东软AR For Car等产品的产品规划工作。

对于人机交互的未来形态，2024年7月11日，在第二届智能座舱车载显示与感知大会上，他表示，未来智能汽车将更趋拟人化，如同“武林高手”，虽已掌握多种“兵器”与“武功”(技术)，但尚需融会贯通，实现跨模态的无缝衔接与深度理解用户意图。这要结合大模型与AI技术，促进多模态交互的完美融合，不仅理解用户需求，还能在合适场景下自动选择最佳交互方式，并融入情感交流，使智能汽车成为真正的智能伙伴。

东软集团汽车智能创新解决方案事业部产品总监

以下为演讲内容整理:

智能座舱人机交互发展

回顾智能汽车在人机交互领域的演进，可概括为三个阶段:初期依赖机械按钮的传统交互，中期引入触控屏与初步语音控制。当前正处于智能与多模态交互的快速发展期，车载显示、智能语音、OMS/DMS等技术的融合极大提升了交互体验，实现了基于场景的主动服务。

图源:演讲嘉宾素材

未来，智能汽车将更趋拟人化，如同“武林高手”，虽已掌握多种“兵器”与“武功”(技术)，但尚需融会贯通，实现跨模态的无缝衔接与深度理解用户意图。这要求结合大模型与AI技术，促进多模态交互的完美融合，不仅理解用户需求，还能在合适场景下自动选择最佳交互方式，并融入情感交流，使智能汽车成为真正的智能伙伴。

随着智能汽车功能的日益丰富，智能座舱成为集安全、导航、自动驾驶等功能于一体的综合平台，信息交互量急剧增加。从基本的行车状态显示到复杂的导航辅助，再到自动驾驶下的多元交互，智能汽车已超越出行工具范畴，成为移动生活空间。因此，人机交互的信息容量持续膨胀，对安全性、易用性及智能化水平提出了更高要求。

当前，人机交互仍面临安全风险、界面设计不合理、信息过载及语音误识别等痛点。未来，随着技术的不断进步，特别是大语言模型的应用，这些问题有望逐步得到解决，推动智能汽车人机交互迈向更高境界。

车载AR人机交互的市场前景和挑战

在人机交互的演进中，AR增强现实技术扮演了核心角色，尤其在智能座舱领域，其应用广泛涵盖AR导航、辅助驾驶及生活娱乐，以沉浸式方式提升用户体验。智能座舱AR的发展趋势正从HUD向AR眼镜及全息设备过渡，实现3D视觉体验。

图源:演讲嘉宾素材

探索AR与AI的深度融合，打造元宇宙级别的交互体验，融合XR技术，在未来场景中，AR技术将解锁现实世界背后的数字信息，为驾驶者与乘客带来前所未有的便利与享受。然而，当前市场面临用户适应度、行业标准及法规缺失等挑战，同时软件算法与硬件技术的局限也需突破，以实现更完美的增强现实效果。

东软AR For Car软件产品

东软集团在汽车AR领域已取得显著成果，并持续深耕。近期发布的OneCoreGo?全球车载智能出行解决方案5.0，涵盖One Map高精度地图导航、One Store全球出行生态整合平台，以及核心亮点One Sight——ARfor Car解决方案。One Map凭借长期积累，不仅服务于国内车厂出海，更在全球市场占据领先地位，提供AI导航、EV导航、人机共驾导航等创新功能。One Store则聚焦海外市场需求，整合全球生态资源，打造无缝出行体验。One Sight作为本次重点，通过AR SDK与AR Studio等平台化软件产品，展现了东软在车载增强现实技术上的深厚实力与前瞻性布局。

图源:演讲嘉宾素材

自2017年起，我们的团队便深耕增强现实技术，优化地图导航体验。传统导航人机交互易分散驾驶员注意力，存在安全隐患。团队探索最佳人机交互模式，认为AR是理想之选。初期，主要在中控屏和仪表屏上实现AR导航。随着AR-HUD硬件的快速发展，我们迅速转型，并成功交付了多款量产车型的ARHUD软件产品。

聚焦于软件解决方案，以解决AR应用中的用户痛点。东软不仅是HUD国标起草的核心软件成员，还开发了AR SDK与AR Studio产品，拥有专业的UXD设计团队，以制定HUD上的设计规范。我们的核心AR算法确保产品性能卓越，支持多屏显示及跨平台部署。

全场景的AR功能在智能驾驶和地图导航等领域尤为重要。在人机共驾场景下，AR能直观展示自动驾驶的感知与决策结果，增强驾驶员信任，便于及时接管车辆。同时，AR技术也极大提升了地图导航的交互体验，为驾驶员提供更多信息。

东软专注于软件平台化设计，通过SDK产品实现个性化功能定制。团队将车载AR核心算法与图形引擎等封装为开发者平台，提供分层级API抽象，支持软硬分离与跨平台部署，确保深度定制开发的灵活性，具备详尽的开发指南与技术支持助力开发者快速构建AR应用。

值得注意的是，AR技术不仅限于HUD，还可结合车内各屏幕，实现全方位AR体验。通过SDK，驾驶员可根据个人喜好选择屏幕展示AR内容，如中控屏、仪表屏或电子外后视镜等，确保用户体验的一致性。这种灵活性让AR技术更加贴近用户需求，推动智能座舱的未来发展。

图源:演讲嘉宾素材

在平台化软件开发领域，东软致力于提供全面的工具链，深刻理解开发过程的复杂性与挑战。特别是AR应用开发，设计与开发间的沟通障碍常导致效率低下。为此，我们推出了AR Studio工具，通过可视化编辑器与实时预览功能，设计师能直观评估UX效果，及时调整优化，显著提升开发效率。

平台化的优势在于顺应智能汽车发展趋势，如EE架构向中央计算演变、软件定义汽车及SOA架构普及等。东软将车载AR软件能力封装为服务，赋能上层应用快速构建与迭代，通过OTA实现软件快速更新，满足个性化与差异化需求，提升用户体验。

AR for Car平台设计理念融入整车SOA架构，将AR核心能力封装为SDK服务，提供数据融合、核心算法及API接口，支持跨平台与多SOC适配。产品设计特性包括插拔式传感器数据接入，灵活应对不同硬件配置，同时支持第三方渲染引擎集成，降低开发难度与成本。通过平台化，缩短新车型开发周期，促进整车服务间交互，打造丰富多样的AI应用。例如，动态AR元素渲染技术可应用于运营场景，提升用户体验与可玩性。

在探讨2B解决方案的同时，我们深知面向终端用户的关键在于卓越的用户体验。消费者期望高性能、高信任度的AR交互，包括精准指示、无缝贴合路口、稳定虚像位置、无拖影及正确遮挡等。东软持续深耕核心算法，，致力于技术创新，确保产品性能卓越。

当前市场面临的技术难点，包括实时三维注册能力不足、AR渲染引擎效果欠佳，导致导航箭头无法精准引导；高精度地图覆盖有限，地标与实际道路偏差，影响虚像与实景贴合。针对这些问题，东软AR For Car通过精准定位、数据融合及高性能AR图形引擎，实现实时坐标转换与贴合渲染，提升用户体验。

通过对比视频展示，可以看到传统AR导航的局限与东软解决方案的优势:在连续路口转弯时，传统导航难以明确指示转弯位置，而东软AR For Car则能实时贴合路口，确保驾驶者清晰判断；对于高精度地图覆盖不足的问题，我们融合视觉感知、车道线检测及地图信息，通过算法优化，实现虚像与实景精准贴合，提前指引变道，避免紧急变道风险；在岔路口及复杂道路情况下，提供变道指引修正，确保导航信息贴合实际路况。

此外，针对航向计算与虚像成像距离的问题，东软凭借在导航领域的深厚积累，融合多传感器信息，实现高精度位置计算，确保虚像稳定且实时指向正确路口。针对HUD虚像可能穿透前方障碍物的问题，我们采用空间计算技术与MR图形引擎，对遮挡部分进行透明化处理，显著降低眩晕感，提升驾驶安全性。

以上是东软集团在AR软件领域不断追求创新的精神与持续迭代的产品力，希望更多行业伙伴来共同探索未来AR的发展方向！