IOE OpenIR  > 光电技术研究所博硕士论文
基于深度学习的实时目标跟踪应用研究
赵春梅
Subtype硕士
2019-05
Degree Grantor中国科学院光电技术研究所
Place of Conferral中国科学院光电技术研究所
Degree Name工学硕士
Keyword目标跟踪 深度学习 特征融合 空洞卷积 实时性
Abstract

目标跟踪作为计算机视觉研究重点之一,在刑侦、智能监控以及智能交通等方面都有着极其重要的应用价值。目前目标跟踪面临环境复杂多变、目标发生非刚性形变、目标被遮挡、目标尺度变换等挑战。在目标跟踪领域,特征提取作为一个最重要环节,提取到的特征好坏直接影响目标跟踪算法的准确性,同时是跟踪鲁棒性的保障。如何提取到丰富且鲁棒的特征是本文研究需要思考的问题。

目前,主流的目标跟踪算法主要为:传统目标跟踪方法和基于深度学习的目标跟踪算法。传统目标跟踪方法在跟踪实时性上表现较好,但是由于特征提取能力受限,导致在不同应用环境下准确性和鲁棒性受限。基于深度学习的目标跟踪算法特征提取能力很强,最大的挑战在于实时性。鉴于此,本文对基于深度学习目标跟踪网络框架进行深入研究,权衡准确性和实时性,对跟踪网络结构改进,达到准确实时跟踪目标的目的。

本文包含以下研究内容:

1分析现有基于深度学习的目标跟踪算法,存在的主要问题在于实时性。对Muti-Domain Networks深入研究表明,算法优点在于准确性高,但是实时性过低。本文对其结构和跟踪策略进行分析改进,旨在提高跟踪速度,提出了简约跟踪框架Fast Deeplearning Tracking Networks与原始算法对比,解决了速度过低的问题,速度提升约10倍左右,PC机上面达到20.5FPS

2FDTNet虽然在PC机上基本达到实时跟踪,但在Jetson AGX Xavier上进行速度提升已经到达一个瓶颈,且牺牲了稳定性来提升实时性,算法普适性欠佳。为了满足工程应用,需要在小型嵌入式平台上达到基本实时,且需要稳定准确的跟踪到目标。分析交叉滤波在跟踪框架上的应用,已有算法Fully-Convolutional Siamese Networks进行改进,意在更进一步提升跟踪速度和准确性。提出了改进算法Muti-Features Siamese Networks,在卷积层中引入特征融合和空洞卷积,同时提升跟踪速度和精度。PC机上面针对不同的测试数据集进行测试,最低速度达到40FPS,满足实时性要求。

3 PC机上的算法仿真测试证明Muti-Features Siamese Networks算法在实时性和准确性上表现优异,可将其载入到Jetson AGX Xavier硬件平台,应用于工程项目中。工程应用需要先在服务器上完成跟踪网络框架的训练,再将其载入小型硬件平台Jetson AGX Xavier进行实际视频跟踪性能测试。在Xavier上面,Siam-MF算法的速度可以达到26.5FPS,相比PC机下降了2.3倍,基本满足车载系统的速度要求。

4)分析本文算法在应用中的优势和缺陷,对未来的改进进行展望。总结了基于深度学习的目标跟踪算法在未来的发展趋向,硬件方面的发展需求以及软件方面的改进可能性。

综上,本文针对基于深度学习的实时目标跟踪问题,从改进跟踪网络框架、改进跟踪策略、改进卷积结构、引入特征融合等方面进行深入研究,并提出了保证实时性和准确性的目标跟踪算法。将提出的算法应用到实际工程项目中,满足速度要求,且稳定跟踪到目标,具备实时应用的能力。

MOST Discipline Catalogue工学 ; 工学::信息与通信工程
Table of Contents

 

............................................................................................ I

Abstract........................................................................................ III

........................................................................................... V

图目录........................................................................................ VII

表目录.......................................................................................... IX

1 引言.................................................................................. 1

1.1 研究背景.......................................................................................... 1

1.2 研究意义.......................................................................................... 2

1.3 目标跟踪研究现状.......................................................................... 2

1.3.1 传统的目标跟踪方法............................................................... 2

1.3.2 基于深度学习的目标跟踪方法............................................... 4

1.4 各章节主要内容.............................................................................. 6

2 目标跟踪与深度学习...................................................... 9

2.1 目标跟踪特征表示.......................................................................... 9

2.2 目标跟踪待解决问题.................................................................... 10

2.3 深度学习........................................................................................ 11

2.3.1 神经网络................................................................................. 12

2.3.2 卷积网络................................................................................. 15

2.3.3 空洞卷积................................................................................. 17

2.4 典型深度学习跟踪算法................................................................ 18

2.5 测评方式........................................................................................ 19

2.6 本章小结........................................................................................ 21

3 基于MDNet改进的FDTNet跟踪算法...................... 23

3.1 基础网络MDNet........................................................................... 23

3.2 卷积网络VGGNet[43].................................................................. 24

3.3 改进网络结构FDTNet [51].......................................................... 25

3.4 跟踪策略........................................................................................ 28

3.5 实验结果........................................................................................ 29

3.6 本章小结........................................................................................ 32

4 基于Siam-FC改进的Siam-MF跟踪算法.................. 33

4.1 基础网络Siam-FC.......................................................................... 33

4.2 卷积网络AlexNet[41].................................................................... 34

4.3 改进网络结构Siam-MF [52].......................................................... 35

4.4 跟踪策略.......................................................................................... 38

4.5 实验结果.......................................................................................... 40

4.6 算法分析总结.................................................................................. 42

4.6.1 飞机数据集............................................................................... 42

4.6.2 公开数数据集OTB2015.......................................................... 44

4.6.3 实验室测试数据....................................................................... 48

4.7 本章小结.......................................................................................... 49

5 Siam-MF的跟踪应用................................................... 51

5.1 应用概述.......................................................................................... 51

5.2 硬件平台介绍.................................................................................. 52

5.3 实施流程.......................................................................................... 53

5.4 结果分析.......................................................................................... 54

5.5 本章小结.......................................................................................... 55

6 总结.............................................................................. 57

6.1 本文工作总结.................................................................................. 57

6.2 展望思考.......................................................................................... 58

参考文献...................................................................................... 61

.......................................................................................... 65

作者简历及攻读学位期间发表的学术论文与研究成果.......... 67

Pages68
Language中文
Document Type学位论文
Identifierhttp://ir.ioe.ac.cn/handle/181551/9059
Collection光电技术研究所博硕士论文
Corresponding Author赵春梅
Recommended Citation
GB/T 7714
赵春梅. 基于深度学习的实时目标跟踪应用研究[D]. 中国科学院光电技术研究所. 中国科学院光电技术研究所,2019.
Files in This Item:
File Name/Size DocType Version Access License
基于深度学习的实时目标跟踪应用研究.pd(3348KB)学位论文 开放获取CC BY-NC-SAApplication Full Text
Related Services
Recommend this item
Bookmark
Usage statistics
Export to Endnote
Google Scholar
Similar articles in Google Scholar
[赵春梅]'s Articles
Baidu academic
Similar articles in Baidu academic
[赵春梅]'s Articles
Bing Scholar
Similar articles in Bing Scholar
[赵春梅]'s Articles
Terms of Use
No data!
Social Bookmark/Share
All comments (0)
No comment.
 

Items in the repository are protected by copyright, with all rights reserved, unless otherwise indicated.