基于语义的多特征融合在目标跟踪中的应用

本研究在视频图像的等高线分析、基于凹凸模式的形状匹配、基于图文法的多特征融合、基于语义的目标检测与跟踪等方面开展深入研究，取得了技术突破。 在图像的等高线分析方面我们首次提出了自顶向下的计算图像轮廓线集合的算法，以及由图像轮廓线计算图像水平集的算法。理论分析和实际应用都表明，这是目前最快的计算图像轮廓线和以轮廓线表示的图像水平集的方法。解释了很多关于水平集轮廓线的疑点，为进一步的探讨和研究提供了坚实的理论基础，对图像水平集技术的进一步研究以及应用都有着非常重要的影响。提出的最优算法，也大大提高了水平集方法在实际图像处理和其它数据处理中的效率，具有非常重要的理论和实际意义。 本研究利用凹凸模式来研究图像的明暗结构，在此基础上，融合形状、纹理、颜色等底层特征，形成对跟踪目标的有效描述。本项目在实施过程中，采用基于凹凸模式的方法，这为多特征融合，尤其是形状和纹理特征的融合探索了一条全新的技术路线，为鲁棒的目标跟踪奠定了基础。基于凹凸模式的方法不只可以应用于目标跟踪，还可以更广泛地用在别的视频和图像分析问题上，这也是未来研究的方向。 将图文法技术应用于高层语义的表达和计算，这种方法在视频跟踪领域，是一个崭新的尝试。在视频目标跟踪过程中，目标是动态的，其形态和特征随着时间的变化而变化，图文法模型比其他形式化工具更适合描述这种动态特性。使用了图转换来实现高层语义的表达和转换。在实施过程中，还将图文法与机器学习方法结合起来，采用机器学习方法从样本数据中自动分析目标对象的关键组件及其空间关系，这些信息就组成了图文法的语法规则。这种图文法自动生成方式简单自然，有利于推广到更多的图像视频应用领域。 在跟踪对象目标时，我们采用基于复合特征的帧间匹配策略，这样不仅可以得到物体的整体运动速度和轨迹，而且可以计算物体各个部分之间的相对运动，从而为后续的运动分析提供支持。使用的复合特征既有底层特征(如关键点、颜色、明暗条纹方向等)，也有基于图文法的高层语义特征。传统的目标跟踪算法往往依赖于底层特征进行跟踪；由于跟踪目标的形状、尺寸、位置和运动方向均随着时间发生变化, 传统的跟踪算法存在累积误差, 容易发生目标漂移,使得跟踪失败。目标跟踪算法利用图像的复合特征，在跟踪过程中进行动态和实时的检验和纠正，从而实现鲁棒稳定的跟踪。

• 关键词：
  目标跟踪 图文法 水平集方法 多特征融合
• 作者：
  宋裕庆
• 作者单位：
  天津职业技术师范大学
• 报告类型：
  最终报告
• 公开范围：
  公开
• 全文页数：
  62
• 项目/课题名称：
  基于语义的多特征融合在目标跟踪中的应用
• 计划名称：
  国家高技术研究发展计划
• 编制时间：
  2013-08-24
• 立项批准年：
  2009
• 馆藏号：
  306--2013-004024