技术成果列表 技术成果详情

基于视频分析和边缘计算的自动扶梯安全使用和乘客防护

智慧轨道交通是城市轨道交通行业的发展方向,而自动扶梯是城市轨道交通站点管理中重要的特种设备。如何利用轨道交通现有的视频监控系统,结合最新的视频分析和边缘计算技术,在不增加交换机、服务器等PC硬件部署的基础上,实现对变化中的扶梯乘客行为(包括但不限于摔倒、逆行、出入口拥堵、身体部分超越扶梯边界和携带婴儿车乘梯等)进行智能感知,供轨道交通运营客户决策使用。该技术经验证,可使自动扶梯更便捷、更安全、更智能、更低成本地智能服务到轨道交通运维中。

#信息技术
产业化

技术详情

1、研究背景

轨道交通车站是轨道交通运营管理和对外服务的基本单元,其管理水平的高低直接决定了整个轨道交通网络的管理水平。随着国内各种自动化技术在城市轨道交通机电设备管理上正得到广泛应用,云存储、云计算、人工智能、视频与物联网融合技术,目前也在越来越多的地铁线路上运用到了综合监控系统上。地铁车站通过车站级综合监控系统,实现了资源共享,互联互通,有利于紧急情况下的事件处理,显示出数据赋能、信息驱动对轨道交通产业发展的强大推动力。

轨道交通内的自动扶梯客伤约占系统客伤总数的60%,其中24%为跌倒和坠落,58%为和物体发生碰撞或挤压。所以,加快扶梯系统的应急自响应速度,进一步提高其安全性,成为研究的当务之急。


2、轨道交通内自动扶梯管控的痛点和难点

2.1 海量监控数据的“信息孤岛”。

自动扶梯能收集海量的图片及视频信息并汇总到车控室,但对“即时存在的危险状况”无法识别和警示,一旦发生乘客“被夹”、跌倒、逆行、拥挤或踩踏等突发事件时,只能被动等待乘客报警、人工巡查或视频监控巡查,监控数据只能用于“责任追溯”的用途,“信息孤岛”效应急待解决。

2.2自动扶梯无法对实时动态客流状态进行“智能识别及修正”。

比如,早晚高峰,客流激增,一旦发生晚点或突发情况,站台极容易积压大批乘客,此时如果自动扶梯还在源源不断向站台输送客流,扶梯出入口极易造成拥堵危险;站台上如发生恐怖袭击,惊恐人群会四散奔逃,扶梯上会形成短时间集聚客流,做不规则急速运动或摔倒践踏现象,常速运行的扶梯会使“二次危害”系数倍增;恶劣天气(如下雨、下雪)或大型社会活动形成的自动扶梯出入口人群积聚和对外仍持续输送的客流,会形成挤压或对冲危险。这些异常动态客流,需要实时被“察觉”,自动扶梯运行则被相应“修正”。

2.3自动扶梯的日常管理,耗时费力。

扶梯的开启和关闭,需要操作人员现场确认后实时,耗时费力。考虑到扶梯日常操作安全性,通常会安排一个专职工作人员来值守重点扶梯出入口。 


3、自动扶梯痛点/难点解决的关键技术

自动扶梯是带有循环运行梯级,用于向上或向下倾斜运输乘客的固定电力驱动设备,现有的工业化技术条件下,其只能对设备自有故障进行检测及安全性防护。当自动扶梯上发生乘客跌倒、逆行、拥挤或“夹人”等突发事件,需要有突破性的感知技术进行识别,做到容易部署、感知准确性高的即时异常预警。

基于【卷积神经网络和人体关键点算法】能检测出目标位置与人体骨骼关键点结构,再进一步使用SVM分类器进行人体姿态分类,从而实现画面中行为异常现象(如,跌倒、超大物件等)检测和报警。与此同时,使用跟踪算法对监控视频中的异常现象(如,逆行、拥挤等)检测和报警。

区别于传统的PC硬件+第三方AI系统构成方案,可通过嵌入式的硬件(利用GPU资源对算法加速)方案,软硬件一体化设计,实现对原始监控视频的智能化分类、通过优化神经网络层数及边缘算法能进行对象行为预测且快速发现乘梯人的安全问题,提高识别效率。边缘计算将更多的数据计算和存储工作,从“核心”下沉到“边缘”,扶梯人工智能AI模组被部署于接近数据源的“边缘”(负责扶梯安全区域监控的摄像头),数据不必再经过网络达到云端处理,从而降低时延和网络负荷。

所以,基于视频分析和边缘计算的技术,具有广阔的工程实践价值和应用前景。 

3.1 跌倒(越界、侧倾、下蹲等)姿态的识别。

3.1.1跌倒:指乘客发生突发、不自主的、非故意的体位改变,倒在运行的自动扶梯梯级上。当乘客身体背部或头部接触梯级时,则被认定为乘客跌倒事件。

Openpose是一种自下而上的人体关键点检测算法,最多可检测人类躯干、手部、面部、足部共135个关键点。同一张视频图像中存在多人情况下,实时视频提取人体姿态关键点,构建人体结构。通过SVM对人体姿态(包括但不限于跌倒、越界、侧倾和下蹲等)进行分类,进而对扶梯上的行人异常姿态实时警示,且对多人姿态识别具有响应时间不变的特点。

该算法需要提前收集不同场景下的人体图像来扩充分类数据库,在机器学习过程中,较完整的数据样本集是得到高准确度模型的必要条件,通过增加样本数量训练得到更加有效的模型,从而提升预测准确率。

无容置疑,这个“海量数据的自学习成果”是这个技术的绝对竞争门槛。


3.2 拥堵识别。

3.2.1拥堵:指在扶梯监控画面的框定区域内,人员数量超过规定的阈值,则被认定为是乘客拥堵事件。我们设置好ROI区域(扶梯出入临近区域)和扶梯当前运行方向,利用内置GPU资源进行三位场景重建,通过Openpose算法和网络引擎 elQ Auto加速,检测并跟踪视频中的运动目标,即时发现拥堵现象。


3.3 逆行识别。

3.3.1逆行:指乘客以超过1m/s 的速度步行,且步行方向与自动扶梯运行方向相反,步行距离超过3个梯级,则被认定发生乘客逆行事件

结合如上定义特征,应用基于相关滤波的KCF跟踪算法,可有效判断视频图像中行人的前进方向、频率和幅度,从而对扶梯上的逆行现象进行实时警示。


3.4 大物品尺寸识别。

3.4.1婴儿车

婴儿车指,乘客携带婴儿车拟进入自动扶梯入口楼层板区域准备搭乘自动扶梯时,则被认定为携带婴儿车搭乘自动扶梯事件。

3.4.2 大件行李

大件行李指,乘客携带体积超过一定体积的大件行李进入自动扶梯入口楼层板区域准备搭乘自动扶梯时,则被认定为携带大件行李搭乘自动扶梯事件。

应用基于回归分类的SSD目标检测及Caffe深度学习算法框架,其通过GPU平台加速可以达到实时对视频图像中的人体和行李等目标进行检测,当检测到扶梯上有婴儿车或大件行李等类似物品时,实时警示。

以上边缘计算结果,可第一时间通过以太网与客户端进行数据命令交互(语音警告、视频警告、扶梯降速、停梯)。

 

4、循证过程及效果


软硬件一体化设计的扶梯AI人工智能检测模组,解决了基于物联网技术,实现了对扶梯运行表征、视频监控图像“更深入的感知”的问题,可应用于不同品牌扶梯,最后形成——智能安全警示、出口拥堵警示、智能语音播报和智能开关梯(含自动启停)四大功能方向(如下图,系统逻辑框架图(1))。



微信客服
迈科技微信号

打开微信
“扫一扫”