Jetson TX2平台上的无人驾驶系统研究与实现
2019年06月05日 10:59         所属学院: []          点击:


湖南省大学生研究性学习和创新性实验计划

项  目  申  报  表

 

项目名称:  

  • 如果您无法在线浏览此 PDF 文件,则可以

  • 下载免费小巧的 福昕(Foxit) PDF 阅读器,安装后即可在线浏览  或

  • 下载免费的 Adobe Reader PDF 阅读器,安装后即可在线浏览  或

  • 下载此 PDF 文件

学校名称

MG冰球突破官网

学生姓名

学  号

专      业

性 别

入 学 年 份

刘思远

卓越

201750080320

计算机科学与技术

男

      2017

廖科宇

卓越

201756110208

计算机科学与技术

男

2017

李健

卓越

201750080329

计算机科学与技术

男

      2017

周偏

卓越

201750080515

计算机科学与技术

男

      2017

邓拓

卓越

201635090235

计算机科学与技术

男

      2016

指导教师

周书仁

职称

副教授

项目所属

一级学科

计算机科学与技术

项目科类(理科/文科)

理科

指导教师承担科研课题情况

 

[1] 湖南省自然科学基金项目“人脸表情自动识别与情感认知关键技术研究”(12JJ6057),2012.4-2014.3,3万元、已结题、主持。

[2] 湖南省教育厅重点项目“深度神经网络压缩的理论方法与应用研究”(17A007),2017.6-2019.6,10万元、在研、主持。

[3] 湖南省教育厅青年科学研究项目“基于计算机视觉的行人检测与行为识别方法研究”(13B132),2013.9-2016.8,5万元、已结题、主持。

[4] 长沙市科技计划项目“智能视频监控中人体行为分析系统的开发与应用”(K1203015-11),2012.4-2014.3,5万元、已结题、主持。

[5] 湖南省教育厅科学研究项目“图像纹理特征分析关键技术研究”(11C0035),2011.6-2013.6,1万元、已结题、主持。

[6] 博士科研启动基金“视频监控下目标智能识别与跟踪系统的研究” ( 20091103),2009.12-2013.12,4万元、已结题、主持。

项目研究和实验的目的、内容和要解决的主要问题

 

1. 项目研究和实验的目的

实现Jetson TX2平台上的无人驾驶系统设计,完成对汽车的车速、自身车情,道路的路情、车况、交通标识牌等驾驶状况信息的实时采集,同时实时监测路面的突发情况以及经过的车辆。使开发的系统在人力释放、交通运输、军事作战等方面起到帮助。

2. 项目研究和实验的内容:

共有十项:①车道线检测、②交通标志分类、③行为克隆、④前置车道边界检测、⑤车辆检测与跟踪、⑥无损卡尔曼滤波器、⑦PID控制技术、⑧模型预测控制技术、⑨路径规划技术、⑩道路标记技术。

(1)车道线检测。实现实时车道线检测,主要包括摄像头的标定,应用投影变换校正二值图像,道路像素与道路边界的检测,计算道路的曲率与车辆相对于中心的位置。

 

 

   

图1 摄像头标定

 

图2 车道线检测

(2)交通标志分类。通过深度学习对不同的交通标志进行识别和分类,利用深层神经网络和卷积神经网络的相关知识对交通标志进行分类。本课题以比利时的交通标识数据集为训练集和测试集验证系统的可行性,比利时的交通标志分成六大类:警告标志、优先标志、禁令标志、强制性标志、与停车和在路上等待相关的标志、指示牌。

   

图3 比利时交通标志样本

 

图4 比利时交通标志测试样本

 

 

图5 比利时交通标志样本子集

(3)行为克隆。设计和训练一个深度神经网络在模拟器中驾驶汽车并克隆自己的驾驶行为模式,针对每帧图像需要收集3个角度训练数据,分别包含左右两边和正前方。

 

 

图6  多角度数据采集与行为克隆

(4)前置车道边界检测。编写实时分析车道边界的程序,前置车道边界检测方法基本上可归结为两大类方法,一类为基于特征的识别方法,另一类为基于模型的识别方法。

 

图7 前置车道边界检测

(5)车辆检测与跟踪。编写前置车辆检测的程序,训练一个基于SSD算法的车辆检测程序,以便能够实时检测出道路上车辆。准备训练数据,以KITTI车辆数据集为基础。

 

图8  KITTI车辆数据集

 

图9  基于SSD算法的车辆检测

(6)无损卡尔曼滤波器。该模块用来实时追踪非线性运动的目标。

 

 

图10  无损卡尔曼滤波器

(7)PID控制技术。用来实时操纵车道上的车辆。

 

 

图11  PID控制

(8)模型预测控制技术。实现模型的预测控制,以适应命令之间额外的延迟。

 

图12  模型预测控制

(9)路径规划技术。设计一个路径规划器,能够创建平稳、安全的路径,实现车辆可沿道路流畅平稳的驾驶。

 

 

图13  路径规划

(10)道路标记技术。设计一个全卷积神经网络在图像中实时标记道路的位置。

 

 

图14  道路标记

 

3. 要解决的主要问题:

(1)感知的数据获取与分析算法;

(2)基于决策路径的算法;

(3)基于传感的数据推送程序设计;

(4)特定模块的硬件设计和与之相关的程序设计;

(5)无人驾驶系统实现;

(6)系统整体性能优化、界面友好与人性化的体现。

 

国内外研究现状和发展动态

 

近几年,无人驾驶与AI并列为大热话题,关于无人驾驶应用于实际的道路行驶的相关问题一直以来都颇有争论。上个月,美国亚利桑那州州长Doug Ducey签署了一份关于无人驾驶的行政命令:无驾驶员的纯无人驾驶汽车允许在公共道路上通行;无独有偶,美国加利福尼亚州行政法规办公室批准了一项新规定:美国加州同样允许无驾驶员操控的“完全自动驾驶汽车”在公共道路上进行测试。而在国内,上海发放了全国首批智能网联汽车开放道路测试号牌,这意味着无人驾驶汽车走出封闭园区正式进入路测阶段。

而无人驾驶车辆必不可少的就是计算机视觉技术,计算机视觉是应运时代而生的产物,用于计算机对外界图形的信息处理,它由运用广泛的CNN的方法,运算速度快,其运用的车道检测是大多数人面临的主要问题,运用的Laplacian边缘检测技术所需内核小,但易被噪声干扰,而谨慎的检测器尽管运用一些方法为更多的研究提供了额外的方法,但也限制了其本身的性能[1]。

自2003年起,就有各种无人驾驶车辆的研究,比如清华大学研制成功THMR-V(Tsinghua Mobile Robot-V)型无人驾驶车辆,能在清晰车道线的结构化道路上完成巡线行驶,最高车速超过100km/h。

追溯无人驾驶技术的发展历史,由国防科技大学自主研制的红旗HQ3无人车,2011年7月14日首次完成了从长沙到武汉286公里的高速全程无人驾驶实验,创造了中国自主研制的无人车在复杂交通状况下自主驾驶的新纪录,标志着中国无人车在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破,达到世界先进水平,而其采用的就是人工智能的神经网络技术。

说到神经网络对自动驾驶汽车的作用,重点之一是其运用了反褶积图,以显示影响网络输出的图像区域。其二是运用建立数学模型和使用数学公式的方法检验因果关系。但总而言之实现的关键方法包含三个步骤:(1)编码器:卷积特征提取;(2)通过视觉注意机制的粗粒度译码器;(3)细粒度的解码器[2]:因果视觉显著性检测和注意力地图的细化。

2013年,百度开始研发自动驾驶汽车。百度方面证实,百度已经将视觉、听觉等识别技术应用在无人汽车系统研发中,负责该项目的是百度深度学习研究院。2015年年末,百度无人驾驶车在北京进行全程自动驾驶测跑,可根据不同场景切换状态,最高时速达100km/h。2016年,北京理工大学设计了一款无人驾驶赛车,百公里加速仅3秒,使用双目摄像头用于行人侦测、避障及路线规划。70年代开始,美国、英国、德国等发达国家开始进行无人驾驶汽车的研究,在可行性和实用化方面都取得了突破性的进展。美国最为发展前景好的是谷歌和特斯拉。

2014年12月21日,谷歌宣布,其首款成型的无人驾驶原型车制造完毕,将会在2015年正式进行路测。谷歌拥有先进的软件和算法基础,其自动驾驶汽车拥有摄像头、GPS、雷达与激光传感器,可以极为灵敏地获取周围环境的信息。自2009年起,谷歌自动驾驶汽车已在自主模式之下行驶了超出120万英里。在这样的磨练中,系统对于应对各类状况已经积攒了丰富的经验。谷歌的自动驾驶车可以识别各类物体甚至是交警的手势,谷歌强大的软件算法能力由此得以体现。

那么究竟无人驾驶的事故率和传统驾驶的事故率孰高孰低,从警方给出的事故率和Google报告中的事故率来看,结果是无人驾驶高于传统驾驶一倍,但是有一些导致结果不稳定的因素,如路面刮蹭的小事故警方根本不会报道,但是我们可以用统计学的方式来计算论证,最终得到结果:无人驾驶的事故率确实小于传统驾驶的事故率。到目前为止,Google汽车在自主模式下发生的最常见的碰撞事件类型是Google汽车在停止或几乎不动时被另一辆车追尾,而在所有碰撞事故中,Google汽车并没有参与任何单一车辆的事故,且在所有碰撞事故中只有一次撞车涉及可能的伤害且伤害程度低于预期值。但由于事故数量较少,所以只能大致得出Google汽车自主模式下的碰撞率低于人类驾驶车辆[3],且在无法避免的碰撞事故中能够减轻碰撞程度的结论。

特斯拉的优势则在于其速度之快,在其他企业对自动驾驶技术尚处研究阶段之时,特斯拉已经投入量产并创造出一定的规模了。特斯拉本身在自动驾驶方面就具备技术层面的优势,并且对自动驾驶技术又存在一种特别的执著。其车型拥有用以识别周围环境的超声波传感器、辨别前方物体的前置摄像头与雷达,以及无数次路测累积的高精度卫星地图。

但这个领域还有一些问题,比如:如何提高无人驾驶领域中改进消失点的方法。相较于传统的RANSAC算法,Moon等提出的harmory算法可以提高消失点检测的准确率,从RANSAC算法的本质阐释出RANSAC算法具有随机性[4],最后通过数据对比的方式,说明了HS算法在准确率这一方面优于RANSAC算法。

无人驾驶技术的不断发展和更新,是建立在对我们手动驾驶的过程中发生过的各类问题和情况的大量研究的基础上的,是大量数据统计分析进而得出结论的结晶。而日益增长的数据库与信息库给我们提取帮助自动驾驶了解和预测复杂交通场景的任务提出了愈来愈大的挑战,现有的文献还没有提供从大规模数据中自动学习交通原语的方法,而最近引入的一种非参数贝叶斯学习方法[5],实验结果表明,非参数贝叶斯学习方法能够从二元和连续事件共存的流量场景中提取交通原语。

无人驾驶技术继续迅猛发展,英国第一辆无人驾驶汽车于2015年2月亮相,它是旨在帮助乘客,购物者和老年人短距离出行。新的无人驾驶汽车将于本周在英国格林威治亮相,被称为Lutz Pathfinder。

而几乎同时在德国汉堡的Ibeo公司应用先进的激光传感技术把无人驾驶汽车变成了现实:这辆无人驾驶智能汽车在车身安装了6台名为“路克斯”(LUX)的激光传感器,由普通轿车改装而成,可以在错综复杂的城市公路系统中无人驾驶。这归功于车内安装的无人驾驶设备,包括激光摄像机、全球定位仪和智能计算机。

无人驾驶技术还有广阔的应用平台,可以想到的是,目前无人驾驶地面作战平台越来越适应现代化战争的需要,较高的雷达测量精度能帮助准确识别出作战恶劣环境的周围目标,其中一个重要问题就是考虑确保无编队碰撞事故,而这取决于无人作战地面平台控制算法的设计,这个设计的难点在于,恶劣的作战环境下,道路上并没有车道标志,因此,车的前行路线不能太过于依赖于车道线,算法应该可靠地识别包括静态物体和动态车辆在内的目标[6],从而确保各自安全行驶。

最近人们还通过研究汽车共享业务模型的共享无人驾驶出租车体系后得出结论,共享自主车辆(SAV)车队可有效地减少停车位,节约城市空间,减少温室气体和有害物质地排放,一个无人驾驶车队可以基本替代一个城市中的所有私家车,并满足所有人的出行需求,因为无人驾驶车辆拥有更好的安全性能,更方便和优化的旅行,而且能减少拥堵,降低总体成本,降低停车空间要求等。具体来说可以采取类似于出租车服务或点对点实时乘车分享的形式[7]。与基于应用程序的汽车共享一样,这些形式的乘坐共享已被证明非常受欢迎。

在2016年的CVPR会议上重点讲述了运用视觉注意力的神经网络模型来处理无人驾驶汽车的问题。它比起一般的难以寻踪的神经网路模型,有着易查看的特点。用于无人驾驶汽车,它能将热力图传达给CNN判断,使车辆安全驾驶。该模型的实现方法共三大步骤:三个步骤:(1)编码器:卷积特征提取,(2)通过视觉注意机制的粗粒度译码器,以及(3)细粒度的解码器:因果视觉显著性检测和注意力地图的细化。三大步骤后也存有检验步骤以确保正确。模型建立完成后,需要在天气晴朗时拍摄大量视频作为练习数据,花不到24小时在NVIDIA Titan X Pascal GPC上训练,尝试了三个不同的惩罚系数来理解模型决策的原理,使模型能够注意道路的要素如车道标记、护栏和前方车辆。最后得出结论,他们与相同的基础CNN相比,(i)在没有注意的情况下,对注意力的控制不能降低控制的准确性。(ii)原始的注意突出了图像中的可解释特征,而(iii)因果过滤通过去除对输出没有显著影响的特征[8],达到了解释复杂性的有效降低的效果。

2017年的ICCV等权威会议都强调了自动无人驾驶的研究重心。我们基于Winograd的最小滤波算法引入了一类新的卷积神经网络快速算法。由于这些算法计算量最小,因此这些算法在小型滤波器和小型设备方面表现优异。与直接卷积相比,这些算法可以将convnet层的算术复杂度降低4倍。几乎所有的算术运算都是通过足够大的密集矩阵乘法来进行计算的,即使批量很小时也可以进行有效计算,对于自行驾驶汽车的行人检测数据计算分析非常有帮助。与传统的FFT卷积算法相比,存储器要求也很轻。这些因素使实际实施成为可能。我们对NVIDIA Maxwell GPU的实施实现了所有批量测量的最先进的吞吐量,从1到64,同时使用大约16MB的工作空间内存。深度卷积神经网络(convnets)在图像识别问题上达到了最先进的结果。网络需要几天的GPU时间来训练,并且在分类过程中也需要大量的计算资源。数据集较大的和模型导致更高的准确性,但同时也增加了计算时间。因此,在神经网络中进行神经网络分析时,如何快速地计算网络成了关键。

而且在无人驾驶的过程中,假设人们看不到任何工作原理,人们也是不愿意乘坐的。但是如果全方位的展示各种参数,各种传感器数据。任谁都会感到头大。若想使无人驾驶车辆快速地融入社会,使人们接受并欢迎,首要的工作任务应该是如何让乘客感到安全和放心,而假如乘客可以在车内实时地关注车外的各种路况信息,但是又不能单纯地将各种数据信息硬塞给乘客,在这种情况下,无人驾驶的可视化便成了现在的研究重心之一,即通过神经卷积网络将处理过的数据信息以简单直观的图像呈现给乘客。通过可视化关注无人驾驶,成为无人驾驶领域中的一个方向。目前,已取得显著技术突破。美国加利福尼亚大学伯克利分部将图像区域传输到识别网络(CNN)做出判断,调整注意力权重,最后讲图像呈现给用户[2]。该方法已经被证明在真实模型中具有有效性。

新硬件Jetson TX2是嵌入式人工智能超级计算平台,可以在终端上部署人工智能计算能力,同时提供了JetPack SDK全套软件的支持。

参考文献

[1] Brilian Tafjira Nugraha,Shun-Feng Su,Fahmizal. Towards self-driving car using convolutional neural network and road lane detector[C].2017, 2nd International Conference on Automation, Cognitive Science, Optics, Micro Electro--Mechanical System, and Information Technology (ICACOMIT),65-69.

[2] Jinkyu Kim,John Canny. Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention[C]. IEEE International Conference on Computer Vision(ICCV), Venice, Italy, 2017: 2961-2969.

[3] Eric R. Teoh, David G. Kidd. Rage against the machine? Google's self-driving cars versus human drivers[J]. Journal of Safety Research, 2017,63(1):57-60.

[4] Yoon Young Moon,Zoog Woo Geem,Gi-Tae Han. Vanishing point detection for self-driving car using harmony search algorithm[J]. Swarm and Evolutionary,Computation, 2018, In press:1-9.

[5] Wenshuo Wang, Ding Zhao. Extracting Traffic Primitives Directly From Naturalistically Logged Data for Self-Driving Applications[J]. IEEE Robotics and Automation Letters,2018,3(2):1223-1229.

[6] Jiarui Li, Lei Han,Zhipeng Dong, et.al. A target recognition algorithm applied to the unmanned ground combat platform in curve driving[C]. IEEE International Conference on Unmanned Systems (ICUS), 2017, 192-196.

[7] Luis M. Martinez, José Manuel Viegas. Assessing the impacts of deploying a shared self-driving urban mobility system: An agent-based model applied to the city of Lisbon, Portugal[J]. International Journal of Transportation Science and Technology, 2017, 6(1):13-27.

[8] Andrew Lavin, Scott Gray. Fast Algorithms for Convolutional Neural Networks[C]. IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, NV, USA, 2016:4013-4021.

本项目学生有关的研究积累和已取得的成绩

刘思远:计算机科学与技术专业,熟练掌握C语言与C++语言,能使用Python3语言进行编程,通过了英语四级考试,对LiDAR(光学雷达)有一定了解。

 

廖科宇:计算机科学与技术专业,熟练掌握C语言与C++语言,对NVIDIA下的CUDA运算平台有一定了解;通过了英语四级考试,了解计算机视觉的相关知识。

 

李健:计算机科学与技术专业,熟练掌握C语言与C++语言,能使用TensorFlow软件库,掌握了MFC的可视化编程方法,通过了英语四级考试,对GPS和惯性传感器有一定了解。

 

周偏:计算机科学与技术专业,熟练掌握C语言与C++语言,熟练使用linux系统,能使用MFC编写窗口对话程序,通过了英语四级考试,对ROS(机器人操作系统)有一定了解。

 

邓拓:计算机科学与技术专业,熟练掌握C++、Python语言,掌握了MFC的可视化编程方法,通过了英语四级考试,对OpenCV和图像识别有一定了解。

 

 

 

 

项目的创新点和特色

1. 使用英伟达公司最新的Jetson TX2处理器作为本次项目的运算平台,具有低功耗 (7.5w) 和高性能两大亮点。

2. 实现无人驾驶技术需要融合计算机领域,多方面的前沿技术,如:光学雷达系统,基于ROS的无人驾驶系统,基于计算机视觉的无人驾驶感知系统,基于Spark与ROS分布式无人驾驶模拟平台和GPS及惯性传感器的应用。

3. 曾有专业人士预测“最多再过25年,配备了完善人工智能的无人驾驶系统将彻底取代人类司机。但是,众所周知,无人驾驶技术并非完美,仅2017年就出现多次无人驾驶事故,本次项目追踪时代的敏感话题,用前沿的硬件系统进行二次开发,我们将尽可能地开发与完善无人驾驶系统。

4. 无人驾驶系统符合人工智能时代的时代主题,如果无人驾驶系统取得重大突破,人们的生活方式将发生巨大变化,极大便利人们生活,提高人们的生活水平。

 

 

项目的技术路线及预期成果

 

 

Jetson TX2平台上的无人驾驶系统是将视觉计算、信息传递、图像处理和模式识别技术结合在一起的综合信息处理平台。它将车载传感器实时观测到的各种路况信息经过采集、处理并经过准确识别,快速给出实时准确的路况报告,为车辆进一步的安全行驶提供科学依据,整个系统主要分为三部分:图像信息采集部分、图像处理与模式识别部分、行进与方向控制部分。该系统框架如图15所示。

 

 

 

 

 

 

图15 系统框架

1、图像信息采集部分

(1)道路图像信息的采集。依靠车载摄像头传感器完成并将图像信息传递给处理器进行加工。

(2)图像预处理。对数字图像信息进行数据类型转换,形状变换,翻转,高亮,归一化,平滑和复原等操作,从而增强有关信息的可检测性和最大限度地简化数据,以提高特征抽取、图像分割、图像识别的可靠性。高斯平滑核如下图16所示。

 

图16 高斯平滑核

2、图像处理与模式识别部分

(1)识别车道线和汽车前置车道边界。依靠图像处理和深度学习技术,将每一帧的图像进行反向透视,确定车道线位置与走向,再利用卷积神经网络(CNN)完成对车道线的特征提取和分类,最后将不同情况即遮挡,阴影,逆光,图像质量,路况,道路问题都不同的数据加入训练集进行训练,保证车辆在不会越过边界的前提下安全稳定地行驶。车道线检测和汽车前置车道边界处理如下图所示。

 

 

 

图17 车道线检测和汽车前置车道边界处理

(2)识别交通标志。依靠图像处理和模式识别技术,将图像信息转化为数字信息与已知的交通标识模式对照以辨别出具体交通标志种类,确保车辆在无人驾驶过程中在不违反交通规则的前提下行驶或停止。具体依靠SSD模型结构对图像初始层上添加逐渐减小的卷积层以便进行多尺度预测,之后的每一个新添加的层,可以使用一系列的卷积核进行预测,在每个位置上预测出一个相应的值,即相对其他box的偏移量,这里的box就是在特征图中各处预测的若干个box,基本完成后再进行训练和测试。

(3)进行车辆和行人的检测与跟踪。运用图像处理与模式识别技术,仍可以利用SSD架构标记出路上的车辆和行人并进行实时的追踪,以便在行驶中可及时地跟车或让行,保证乘客安全。和之前一样,可以使用SSD卷积神经网络对box的概念进行对象检测,设置不同尺寸和比率的预定义框,然后对于每一个box,SSD卷积网络可检测该box内是否存在物体,并计算物体边界框和固定boxes之间的偏移量,最后再对偏移量使用损失函数最小化,详细流程如图18。

图18 交通标志识别

车辆检测算法如下图所示:

 

图19 车辆检测示意图

车辆检测步骤实现方法:

Step1:首先是图像预处理

(1)阴影图像处理:对图像阴影处理是为了阴影与目标有效分离,主要包括阴影检测和阴影去除两部分。常用到的方法有:基于泊松方程的阴影去除、基于梯度域的阴影去除、基于成对区域的阴影去除、使用金字塔的阴影去除、使用子区域匹配亮度转移的阴影去除等。

(2)雾霾图像处理:对雾霾降质图像的储量方法有很多,主要有基于图像增强和基于物理模型两类。相关算法需要基于偏微分方程、深度关系、先验知识等算法上进行改进,以便取得较为理想的效果。

(3)地物遮挡处理:拍到的画面中经常会出现车辆被地物或车辆间相互遮挡的情况,对车辆识别形成很大的干扰。解决地物遮挡的方法主要有特征模型、统计模型、推理和三维模型。特征模型和统计模型的方法应用最为广泛。

(4)阴天图像处理:阴天会造成图像中车辆对比度降低,边缘轮廓信息模糊,给车辆识别带来严重干扰。通常采用图像增强的方法削弱或去除图像中某些干扰信息,根据算法处理的范围可分为全局处理和局部处理。

Step2:其次是车辆特征提取:

(1)人工特征提取:过去几十年,人工特征提取在图像模式识别领域一直占据主导地位,其主流思想是先采用区域选择方法定位提取感兴趣的区域,然后手工设计提取目标特征。车辆特征提取建立在车辆检测的基础上,先搜索定位包含车辆的区域,再提取有用的车辆特征信息。传统的车辆检测方法采用基于滑动窗口的穷尽策略对整幅图像遍历,通过设置不同的尺度、长宽比,搜索包含目标所有可能出现的位置。近年来,以AdaBoost框架和DPM框架的各种改进算法堪称佳作,取得了较好的效果。

(2)自动学习提取特征:从大量的训练样本图像中自动学习提取特征,神经网络一度被给予厚望。但其发展出现了瓶颈:训练容易出现拟合、算法复杂、训练速度慢。近年来,伴随着GPU和深度学习的快速发展,弥补了传统神经网络的不足。深度学习的本质是通过多层非线性变换,从大规模数据集中自动学习特征。深层的结构使其具有极强的表达能力和学习能力,尤其擅长提取复杂的全局特征和上下文信息。得益于卷积神经网络和候选区域算法,以R-CNN为代表的目标检测方法开启了深度学习应用于目标检测的先河。

 Step3:最后是分类器设计:

分类器是解决目标识别的有效工具。常用的分类器有最小距离分类器、贝叶斯网络分类器、人工神经网络分类器、支持向量机等。目前应用最为广泛的分类器是神经网络分类器和支持向量机。

 

 

 

行人检测算法

Step1: 首先,基于背景建模,注意以下几个方面:必须适应环境的变化;相机抖动引起画面的抖动(比如手持相机拍照时候的移动);图像中密集出现的物体;必须能够正确的检测出背景物体的改变;物体检测中往往会出现Ghost区域,Ghost区域也就是指当一个原本静止的物体开始运动,背静差检测算法可能会将原来该物体所覆盖的区域错误的检测为运动的,这块区域就成为Ghost,当然原来运动的物体变为静止的也会引入Ghost区域,Ghost区域在检测中必须被尽快的消除。

Step2: 其次,提取出前景运动的目标,在目标区域内进行特征提取,提取的特征主要有目标的灰度、边缘、纹理、颜色、梯度直方图等信息。分类器主要包括神经网络、SVM、adaboost以及现在被计算机视觉视为宠儿的深度学习。

Step3: 然后,根据大量的样本构建行人检测分类器,利用分类器进行分类,判断是否包含行人,要注意行人的姿态、服饰各不相同、复杂的背景、不同的行人尺度以及不同的光照环境;提取的特征在特征空间中的分布可能不够紧凑;分类器的性能受训练样本的影响较大;离线训练时的负样本无法涵盖所有真实应用场景的情况。

 

 

3、行进与方向控制部分。

(1)预测和更新车辆位置。通过无损卡尔曼滤波器,在已测得实时车辆速度的条件下,预测下一帧图像中车辆的位置并实时更新,保证车辆能够平稳地行驶或停止。首先需要产生sigma点集并计算其均值,后写出对估计状态的不确定性即协方差矩阵,之后通过公式与矩阵变换预测sigma点集和其均值与方差,最后完整地按照卡尔曼滤波的更新步骤计算即可,完整流程如图20。

 

 

 

图20 车辆位置的预测与更新

车辆位置预测与更新算法:

Step1: 首先该算法应在GPU上运行,不采用粒子滤波框架,而使用卡尔曼滤波可及时获得准确特征。

Step2: 其次对整个Network,进行大量训练,对于每个Branch网络作训练mini-batch,选择32个正样本和96个负样本(从大量负样本中高度筛选得到)。

Step3: 最后进行跟踪,对每个待跟踪目标建立一个FC6全连接层。

I.对于输入每一帧图像,在该目标位置附近采样256个 Box 作为Candidates;

II. 所有Candidate 归一化到 107*107尺寸,输入到训练好的 MD-Net 网络(shared + FC6-k);

III. 网络输出是一个二维的向量(Box ID,目标概率),最终目标是概率值最高的Box;

每隔一段时间,根据可行度高的正负样本,进行网络更新。

 

(2)调节车辆方向。通过PID控制,利用实时传递的信号对被控车辆的行进方向进行控制与调节,基本原理如图21。

图21 PID调节基本原理

(3)中央控制器及辅助通信模块。本项目采用Jetson TX2为核心实现,具备实现低功耗与64位数据处理的能力。中央控制器核心板,如图22所示。

 

 

图22 中央控制器核心板

预期成果:

(1)研发一套有实用价值的无人驾驶系统;

(2)申请1~2项软件著作权;

(3)发表专业论文2~4篇;

(4)项目研究报告。

 

年度目标和工作内容(分年度写)

 

 

本项目计划时间从2018年3月到2020年6月完成,具体时间进度安排如下:

(1)2018年3月至2018年6月,阅读相关的科技参考文献,完成项目申报书,收集资料及购买相关的电子元器件;

(2)2018年7月至2018年9月,完成电源模块、车载传感器模块的代码调试;

(3)2018年10月至2018年12月,完成图像处理模块的代码调试并撰写相关专业论文;

(4)2019年1月至2019年3月,完成模式识别模块的代码调试并撰写相关专业论文;

(5)2019年4月至2019年5月,完成车辆和行人检测与跟踪标记模块的代码调试;

(6)2019年6月至2019年7月,完成无损卡尔曼滤波器模块的代码调试并撰写相关专业论文;

(7)2019年8月至2019年9月,完成PID控制模块的硬件安装与代码调试并撰写相关专业论文;

(8)2019年10月至2020年1月,通过虚拟影像测试系统的性能及完善优化;

(9)2020年2月至2020年3月,测试系统的性能及完善优化,撰写结题报告,提交总结报告。

指导教师意见

Jetson TX2平台上的无人驾驶系统融合了多个学科的知识,项目组所做的技术方案合理,对项目中的关键问题把握准确,前期工作准备充分,项目组学生具备较强的理论和实践能力,项目实用性强,具有良好的创新意识,能够完成该项目的研发。

同意该组学生申报“大学生创新性实验计划项目”。

 

签字:                   日期: