Fully-Convolutional Siamese Network for Object Tracking

　　摘要：任意目标的跟踪问题通常是根据一个物体的外观来构建表观模型．虽然也取得了不错的效果，但是他们这些 online-only approach 限制了模型可以学到的模型的丰富性．最近，已经有几个尝试开始探索深度卷积网络的强大的表达能力（express power）．但是，当跟踪目标提前未知时，需要在线的执行 SGD 来适应网络的权重，严重的影响了系统的速度．本文中，我们提出一种基本的跟踪算法，端到端的进行全卷积孪生网络的训练，在 ILSVRC15 video object detection dataset 上进行训练．我们的 tracker 速度超过了实时，尽管看起来很简单，但是仍然在　VOT2015 bechmark 上取得了顶尖的效果．　

　　引言：　传统的跟踪算法都是在线的方式学习一个表观模型 (appearance model), 但是，这只是相对简单的学习到了简单的模型．另外一个问题就是，在计算机视觉当中，深度学习的方法已经被广泛的采用，但是由于监督学习的数据和实时要求的约束，基于深度学习的应用并不广泛．几个最近的工作目标在于意图用预先训练的深度卷积网络来客服这个缺陷．这些方法要么采用 shallow methods（如：correlation filters）利用网络的中间表示作为 feature；或者执行 SGD 算法来微调多层网络结构．但是，利用 shallow 的方法并不能充分的发挥 end-to-end 训练的优势，采用 SGD 的方法来微调却无法达到实时的要求．

　　本文提出一种方法，利用预先 offline 学习的方法，训练一个神经网络来解决 general 相似性学习的问题，这个函数在跟踪的过程中简单的进行评价．本文的核心贡献点就是：这种方法在达到相当结果的同时，速度方面达到实时．特别的，我们利用孪生网络，在一个较大的搜索图像内，来定位 exemplar image．进一步的贡献是：该网络是　fully-convolutional：稠密且有效的 sliding-window evaluation 的方法来计算两个输入的 cross-correlation．

　　相似性学习的方法已经相对被遗忘，由于跟踪领域并不需要涉及到大量有标签数据集．直至现在，现有的数据集相对而言，仅仅只有几百个标注的 videos．然而，我们相信　ILSVRC dataset 的出现对于物体检测而来使得训练这样一个模型成为可能．

论文笔记之：Fully-Convolutional Siamese Networks for Object Tracking