随着人工智能技术的不断发展和普及，2023年越来越多的企业和组织开始将人工智能应用于各个领域，产生了众多具有创新性和实用价值的案例，这些应用案例不仅提高了生产效率，也带来了更好的用户体验。

为积极响应国家政策，更好地推广和分享这些优秀案例，中国通信工业协会及中国通信工业协会人工智能专委会于2024年初启动《CCIA2023年度人工智能优秀案例》征集活动，评选出一系列具有创新性、实用性、影响力和可持续性的优秀案例，中科睿途在此次评选中，携《基于多模态感知和融合技术的驾驶员行为智能分析系统》成功入选。

首届CCIA2023年度人工智能优秀案例征集包括科技向善、AI数字化产业升级、AI技术创新应用、AI最佳落地实践、最佳可持续发展、AI赋能数据要素创新应用六大方向。

《基于多模态感知和融合技术的驾驶员行为智能分析系统》是由北京中科睿途科技有限公司与中国科学院半导体研究所联合成立的智慧出行AI视觉联合实验室共同研发的预测司机危险行为的行业案例。

据悉在研究过程中，智慧出行AI视觉联合实验室发现如何从不同的模态数据中提取和组合相关互补信息, 利用大模型技术将不同模态数据如视觉数据、生理信号、LiDAR、雷达和注视数据等进行融合，即多模态融合，实现对危急驾驶行为准确预测增加有效性。

目前实验室已经实现了在座舱场景下融合座舱内深度摄像头、生理信号传感器、语音信号、T-Box等感知设备的数据，以多维度视角对司机行为进行理解与分析，通过大模型技术能够快速预测司机危急驾驶行为，实现了对驾驶场景的整体感知，提升出行安全保障。

该案例通过应用多模态感知大模型来预测司机危险行为，提高驾驶者的感知能力，也为自动驾驶技术的研发和应用奠定了坚实基础。随着技术的不断进步和普及，这一系统也有望在未来成为汽车行业的标配，为广大车主带来更加智能、便捷的安全出行体验。