智能座舱系列三:智能座舱监测系统(IMS)之DMS
编辑导语:DMS的发展从2020年开始就进入发展井喷期,本文针对DMS的火热发展、三个核心功能以及其实现原理进行概述,并对如何落地一个座舱的DMS系统分享了自己的项目经验,一起来看下。
DMS,即Driver Monitoring System,监测对象为Driver(驾驶员)。
OMS,即Occupancy Monitoring System,监测对象为乘客。
相对于DMS和OMS而言,IMS是一个比较新的概念。In-cabin monitoring System即汽车座舱的智能视觉监控系统。通俗来讲,IMS既包括DMS、OMS,也包括FACE ID、手势识别、体征监测、远程监控等。下面我详细介绍一些我对IMS认识。
智能座舱言之者多,亲历者少。本篇继续从我自己亲历的项目中,去介绍DMS的核心功能、硬件系统、算法引擎的处理逻辑。在不违反商密的前提下,尽量开放一些具体的真实资料,希望能帮助到一部分人。
一、DMS火热的三个原因
DMS从2020年开始进入发展井喷期,从需求端分析,原因有三个。
1. 法规要求
出于公共出行安全考虑,欧盟和中国均出台法律法规,国内已率先对“两客一危”等商用车车型安装DMS系统作出强制要求,乘用车搭载要求也在推进制定中。
2. EuroNCAP五星安全评级要求
DMS成为Euro NCAP五星安全评级的关键要素,而且是必要条件,这两年很多公司开启了DMS供应服务,不过鲜有盈利,但DMS已经成为新车型的标配功能。
3. 智能化体验升级
DMS融合ADAS、舱内生活场景,催化出一些列智能化的场景体验,迅速拉升用户体验。
二、DMS的三个核心功能
DMS的核心功能只有三个,疲劳监测、分心监测、危险行为监测。
疲劳监测:行车过程中,摄像头对驾驶员的闭眼和打哈欠行为行进行采样;DMS结合行车时间、行车速度等因子,来判断驾驶员是否疲劳和疲劳等级。
系统根据疲劳等级,发对应的警告给驾驶员,如声音警报、语音警报、安全带收紧、仪表警报等。
分心监测:行车过程中,摄像头对驾驶员的视线偏移、及人脸角度偏移进行采样;根据偏移的角度阈值,进行判断;触发偏移阈值开始计时,根据时间长短来判断分心等级,并给予相应的提示,如声音警报、语音警报、安全带收紧、仪表警报等。
危险行为监测:危险动作检测包含驾驶员抽烟、打电话、饮食等行为。
三、DMS的实现原理
完整的DMS系统包括摄像头、芯片板及算法、IVI人机交互部分。
1. 系统架构
2. 算法引擎
(1)疲劳驾驶、分心驾驶检测的逻辑
(2)危险行为检测的逻辑
3. IVI人机交互
这部分主要是解决如何有效提醒用户的问题,一般通过音频、图像、文字在仪表、中控屏、扬声器等方式,也有通过安全带震动(体感)、气味(嗅觉)与用户进行信息传递。
四、如何落地一个座舱的DMS系统?
通过以上介绍,我相信大多数人对DMS有了系统性的认识。但是,有了认知,可能也能说几句,但并不代表你能胜任DMS相关的工作。如想真正去落地一个DMS功能到座舱,你还需要处理以下事项:
1. DMS的功能规划
你需要跟项目组明确DMS的功能有哪些,除了疲劳、分心、危险动作的检测,是不是要做Face ID识别。
2. 确认芯片平台
明确了功能,就要考虑如何实现。选择一个价格、算力、稳定性适合的芯片平台。
3. 设计DMS系统方案
可以独立设计,用自身的ECU,也可以集成到更大的集群或信息娱乐ECU中。不论是自身独立ECU还是复用其他系统ECU,总算力成本是差不多的。
由于DMS解决方案可以链接到功能安全关键的ADAS和自动驾驶功能,可能还需要额外的系统评估和ASIL认证。
4. 寻找算法供应商
一般车企会选择与DMS算法供应商合作,算法供应商现在很多,要考虑其技术成熟、配合力度、技术能力,以及商务模式。
5. 寻找摄像头供应商
根据功能性能需要,寻找合适的摄像头供应商。
系统必须提供高质量的图像,以便在夜间、隧道或恶劣天气等低光照条件下进行可靠的视觉处理。所以DMS对摄像头的参数有一定的要求,从而对主机芯片也提出了要求,在规划座舱产品时,一定是统筹考量的。下图提供了图像性能的维度,可供参考。
6. 确认摄像头安装位置
摄像头的位置具有灵活性,可以安装在包括仪表盘、方向盘柱、左右侧A柱或内后视镜。其中正对驾驶人脸角度的转向柱和仪表盘位置,是效果最好的,A柱其次,舱内后视镜也勉强可以。
要与内饰造型团队、摄像头供应商、算法供应商沟通,以保证和平衡效果。
7. 各业务口输出相关的技术文档
项目经理要制定项目计划,产品经理要书写PRD,系统,软件、硬件、测试工程师都要输出对应的文档,HMI设计师要输出UE文档。
设计环节完成后,便进入开发阶段,不再赘述。
本文由 @赛博七号 原创发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议
本文由 @赛博七号 原创发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。
大佬难道在理想?L9现在已经上了tof方案
不在理想。这篇讲了理想的方案和我去年发方案。http://www.woshipm.com/pd/5366596.html
介绍很专业👍,能不能分享下从DMS+OMS到IMS需要哪些过渡?
想成为智能座舱产品经理,需要什么的知识储备和技能?他们工作的一天是什么样的?
评论区三言两语说不清楚, 您加我微信吧cyber7h
做过类似产品界面设计
能分享下吗
期待oms和ims连载👍
好的
老铁专业的很
谢谢