2023年8月21日，2023年度北京市杰出青年科学基金、重点研究专题、小米创新联合基金拟资助项目公告正式发布，北京中科睿途科技有限公司(以下简称：中科睿途)与中国科学院半导体研究所联合申请的“基于多模态视觉增强与信息融合模型的危急驾驶行为预测”课题通过专家涵评、会评与答辩，最终通过2023年度北京市自然科学基金-小米创新联合基金拟资助项目。

　　关于“小米联合基金”

　　为落实北京国际科技创新中心建设任务，充分发挥北京市自然科学基金(以下简称“市基金”)的导向作用，北京小米公益基金会向北京市自然科学基金委员会办公室捐资共同设立“北京市自然科学基金-小米创新联合基金”(以下简称“小米联合基金”)，以支持北京地区相关领域基础研究、应用基础研究以及科研人才队伍建设。

　　2023年度小米联合基金围绕电子信息、新材料与先进制造、机器人、智能汽车等领域开展资助工作，项目分为重点研究专题和前沿项目两类，其中重点研究专题项目计划资助9项左右，原则上每个重点研究专题指南方向下资助1项，资助金额不超过500万元/项，项目实施周期为4年(有特殊说明的除外)。前沿项目计划资助30项左右，原则上每个前沿指南方向下资助1-3项，资助金额不超过50万元/项，项目实施周期为3年。

　　课题申请方向

　　本年度前沿项目共有18个子课题方向，本课题申请方向为“基于多模态信息融合的预测模型构建与评价”，主要基于电动汽车驾驶员、乘客等行为信息，开展听觉、视觉、触觉等多模态信息感知、理解及生成关键技术研究，建立高精度、高鲁棒性的司机、乘客行为预测模型。

　　相关政策信息

　　近期，北京市政府在促进通用人工智能创新发展方面密集发布和推出了多项相关措施，并在相关政策文件中多次提及了将重点推动多模态及相关应用技术。例如，在5月23日发布的《北京市促进通用人工智能创新发展的若干措施》中明确支持创新主体在多模态任务中的研发和应用，并鼓励推动多模态技术在自动驾驶等领域的示范应用，以推动该技术在实际场景中的落地和发展。此外，在5月21日发布《北京市加快建设具有全球影响力的人工智能创新策源地实施方案(2023-2025年)》中提到，为了突破人工智能前沿基础理论创新并发展面向新一代人工智能的基础理论框架体系，北京市需要在多模态智能等方向开展研究布局，以形成具有国际影响力的人工智能原创理论体系。这些政策的提出和支持表明北京市高度重视多模态技术在人工智能领域的应用和研发。特别是在自动驾驶等领域，多模态技术的示范应用被认为是推动创新和发展的重要方向。通过鼓励创新主体在多模态任务中的研发和应用，以及推动多模态智能的理论研究，北京市旨在建设具有全球影响力的人工智能创新策源地，并在实际场景中推动多模态技术的落地和应用。这些政策的实施为多模态技术的研究者和开发者提供了良好的发展环境和支持，有望促进该技术在北京市乃至全球范围内的创新和应用，并推动人工智能领域的进一步发展。

　　课题申请介绍

　　1、技术简介

　　随着人工智能在智慧交通和自动驾驶中的应用，司机驾驶行为的预测模型构建成为实现交通安全和高效驾驶的重要支撑。然而，单一感知模态数据往往无法完整、准确地捕捉到司机行为的特征，这限制了当前预测模型的性能。因此，本项目提出一种基于多模态视觉增强与信息融合模型的危急驾驶行为预测方法，建立一种能够在复杂光照环境、跨摄像头、多源传感信息下快速、通用、鲁棒的预测驾驶员多种危险行为的方法。首先提出一种基于视觉注意力网络的视线估计方法，解决在光照变化下快速对司机视线方向估计问题。然后，通过利用车载多视角摄像头采集的数据，充分利用视觉信息以增强对司机危险行为的预测能力。最后，提出一种多模态数据融合与协同增强的司机危急驾驶行为分析网络，将多源视觉、语音、文本数据进行融合，并结合视觉-文本对齐与大规模语言模型，提高对驾驶场景的分析和预测能力。本课题提出的模型将助力自动驾驶的司机辅助系统，提升驾驶体验和安全性。

　　2、应用方向与应用前景

　　基于多模态融合感知模型的司机危急驾驶行为预测研究将通过结合多种传感器和感知技术，如图像识别、语音识别、姿态检测、生理信号监控等，实时监测司机的行为和状态，以便及时识别潜在的危急驾驶行为，其应用前景包括：

　　(1)驾驶辅助：通过对司机危急驾驶行为进行准确预测，驾驶辅助系统可以提供实时的警报和建议，帮助司机及时采取避免事故的行动，提高驾驶安全性;

　　(2)自动驾驶系统：在自动驾驶场景中，多模态融合感知的预测研究能够实时监测驾驶员的注意力分配、疲劳程度、情绪状态等，及时预测驾驶员可能出现的危急驾驶行为，从而提高自动驾驶系统的反应能力和适应性;还可以为自动驾驶系统提供驾驶员与系统之间的交互界面设计依据，使得系统能够更好地理解和响应驾驶员的需求和意图，提供更加个性化和舒适的驾驶体验;

　　(3)驾驶员培训与评估：基于多模态融合感知的预测研究可以为驾驶员培训和评估提供科学依据。通过监测和分析司机的危急驾驶行为，可以帮助驾驶员了解自身驾驶技能的薄弱环节，并通过培训改进驾驶技巧;

　　(4)保险业务应用：保险公司可以利用这项研究的成果来开发基于驾驶行为的保险产品。通过对司机的危急驾驶行为进行评估和预测，保险公司可以制定个性化的保险政策和定价方案，更准确地评估风险并提供更具竞争力的保险服务;

　　(5)交通规划与管理：将多模态融合感知的预测研究应用于交通规划和管理中，可以帮助识别高风险区域和时段，并采取相应的交通管理措施，提高交通流畅性和减少交通事故发生率。

　　“智慧出行AI视觉联合实验室”

　　2023年3月，中科睿途与中国科学院半导体研究所联合组建了“智慧出行AI视觉联合实验室”。该联合实验室旨在促进智慧出行AI视觉技术的科学研究和应用技术发展，推动AI视觉技术在智能座舱、司乘服务体验优化、出行企业数智化等领域的应用与产业化落地。联合实验室的主要研究方向包括：基于行业专有大模型研究、AI智能体研究、AI视觉技术的司乘属性识别、视线动态追踪、司乘行为分析、车内饰与外观识别及多模态智能交互等应用领域的核心关键技术研究与开发。

　　本次中科睿途与中国科学院半导体研究所联合申请的“基于多模态视觉增强与信息融合模型的危急驾驶行为预测”课题通过2023年度北京市自然科学基金-小米创新联合基金拟资助项目，体现了在专业能力、科研实力、创新能力等方面均满足项目要求。下一步，中科睿途将与中国科学院半导体研究所携手并肩，积极推动科研项目课题研究相关工作。