基于多层深度学习框架和运动分析的驾驶员疲劳监测系统

来源: 网络 日期:2021-02-14

Francesco Rundo1

Sabrina Conoci1

Francesca Trenta2

Sebastiano BatTIato2

1意法半导体

2IPLAB –卡塔尼亚大学数学和计算机科学系

摘要:汽车工业的最新发展引起了科研人员对疲劳驾驶监测的研究兴趣,意图开发一种有效的驾驶员监测系统,能及时发现心理物理状态异常,减少疲劳驾驶引起的交通事故。现在许多文献特别专注于生理信号的研究,通过测量心率变异性(HRV)来得到有关心脏运动的信息。事实上,HRV还是一个有效的评估生理压力的指标,因为它可以提供与自主神经系统支配的心血管系统活动相关的信息。本文旨在通过提取人脸特征点,分析由血压引起的皮肤细微运动,再以一个稳健的方式重构光电容积图(PPG)信号。所得结论是,传感器检测到的PPG信号与使用人脸特征点重构的PPG信号有很强的相关性,而且我们从实验结果中获得了支持这一结论的证据。

1 前言

困倦是一种生理状态,其特征是人的意识程度降低,难以保持清醒状态。根据国家安全委员会的调查,在美国,疲劳驾驶导致的致命性事故的占比正在显著上升[1]。因此,开发一种可以提前发现驾驶员生理状况不适宜开车的有效预警系统将具有重要意义。据报道,有研究显示,心率变异性(HRV)与驾驶员的注意力程度相关联[2]。准确的讲,心率变异性是一个代表个体的生理适应能力和行为灵活性的重要指标。评估心脏运动的方法是使用PPG信号测量血压,由此再评估心率变异性。具体地说,PPG信号是由代表逐次心动周期的血管容积峰值组成,PPG检测方法是,使用LED光源照射皮肤的不同部位,再用光电二极管评价光的反射强度[3]。尽管生理信号使我们能够监测困倦程度,但是最近的研究方向主要是使用计算机视觉技术评估驾驶员的疲劳程度[4]。虽然在汽车环境中开发人脸检测系统肯定具有挑战性,但仍有许多方法使用摄像头确定眨眼率,由此来评估疲劳程度[5]。与其它研究不同,我们的方法侧重于利用计算机视觉技术来检测和提取人脸特征点,通过分析先前录制的视频序列的像素强度变化,来定义人脸特征点的时间序列。更具体地说,我们的方法的基本原理也是通过“视频放大”来揭示血压变化引起的面部细微运动。本研究的目的是通过定义人脸特征点时间序列而不是使用传感器来构建PPG信号。

本文后面的结构如下:第二部分介绍相关的研究成果;第三部分概述PPG信号,并介绍我们的基于长期短记忆和卷积神经网络的管道。第四部分解释实验过程。最后,第五部分讨论我们方法的优点和未来研究方向。

2 相关研究

在以往发表的论文著作中,大部分是通过生理信号检测驾驶员困倦,取得了很高的检测精度。事实上,很多研究证明,仅基于计算机视觉技术的驾驶员疲劳监测解决方案可能不一定行之有效,尤其是侧重于分析交通标志的视觉方法,在路况不佳时,往往会失败。

一部分科研人员曾公布了一项光体积描述信号(PPG) 检测研究成果[6],作者使用低功率无线PPG传感器取得了很好的检测效果。另一种方法 [7] 是作者利用在手指和耳垂检测到的低频和高频PPG信号来评估疲劳程度。本文引用的研究成果主要是通过研究ECG和PPG信号来评估HRV信号。不过,本文所引用的方法对计算性能有较高的要求,需要在车上集成昂贵的检测设备。尽管集成的传感器不一定是直接测量工具,但为了准确地获取生理信号,驾驶员还是需要将手或身体的其它部分(例如耳垂或手指)放在传感器上,这对于在汽车上推广应用是一个限制。本文另辟蹊径,提出一个创新的框架,基本原理是抓取司机面部图像,采集人脸特征点,重建PPG信号,以此评估HRV信号和疲劳程度。

3 背景和管道方案

如前所述,我们提出了一种创新的驾驶员困倦状态监测方法,而无需使用传感器来获取PPG信号。部分学者的研究成果[8]阐述了视频放大方法是如何通过放大普通视频图像来揭示人脸面部的运动变化,因为逐次心动周期中的血压变化会引起皮肤不同部位的颜色变化。研究证明,自主神经系统活动可调节某些生理过程,例如,血压和呼吸速率,通过评估心率变异性信号可以间接测量这些生理过程,因为心率变异性信号在生理压力、极度疲劳和困倦期间会出现变化。

评估HRV心率变异性需要使用生物反馈工具或软件,以及检测心电信号的高质量传感器,还需要功能强大的处理器来管理大量的数据。ECG信号是传统的心率变异性评估方法,不过,这种方法在使用上存在某些缺陷,尽管检测效果良好,但是在数据采集(数据采样)过程中,人体的细微运动会导致信号内出现一些噪声和伪影。为了克服ECG的问题,业界提出PPG信号是可靠的解决方案,检测血液容积变化的能力使PPG能够有效地检测裸眼难以观察到的皮肤细微运动。特别是,通过分析PPG信号,我们能够界定在特定时段内的心率变化,显示自主神经系统的两个分支(副交感神经和交感神经)是否都在正常工作。通常,HRV值小,表示心率间隔恒定;HRV值大,则表示心率间隔异常。非常正常的心律和心率的细微变化可以确定注意力是否因为慢性生理压力而降低。但是,不存在一个标准的HRV值,因为HRV值因人而异。

    A+
声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表赞同其观点和对其真实性负责。