我主要关注temporal action localization ( 或者叫temporal action detection)方向。
这个方向主要是要在较长的视频中定位动作发生的时间（开始及结束时间）以及动作类别。常用的数据库包括ActivityNet 和 THUMOS。
先介绍一下2016年底之前的baseline，Shou Z在CVPR2016上的工作：
Shou Z, Wang D, Chang S F. Temporal action localization in untrimmed videos via multi-stage cnns[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1049-1058.
该方法利用C3D Network设计了一个多阶段的网络用于动作定位，我之前写过一篇笔记SCNN-用于时序动作定位的多阶段3D卷积网络 - Will Lin的博客 。该方法在THUMOS2014数据库上的mAP@0.5 为19.0%，是今年各个工作的baseline分数
今年这个方向的论文很多，各个数据库上的baseline也提高了一大截。大神们真是让人感觉压力大啊.....下面简要介绍一下这个领域我看到的几篇CVPR2017文章（可能有遗漏，毕竟list还没有出来），之后会再写文章对这几篇文章进行详细的讨论。
[1] Shou Z, Chan J, Zareian A, et al. CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos[J]. arXiv preprint arXiv:1703.01515, 2017.
链接：Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos
Shou Z.新的工作。基于C3D（3D CNN网络）设计了一个卷积逆卷积网络，输入一小段视频，输出frame-level的动作类别概率。该网络主要是用来对temporal action detection中的动作边界进行微调，使得动作边界更加准确，从而提高mAP。该方法在THUMOS2014数据库上的mAP@0.5 为23.3%。在THUMOS2014数据库上。该方法的速度非常快，可以达到500FPS。
[2] Xiong Y, Zhao Y, Wang L, et al. A Pursuit of Temporal Accuracy in General Activity Detection[J]. arXiv preprint arXiv:1703.02716, 2017.
链接：[1703.02716] A Pursuit of Temporal Accuracy in General Activity Detection
港中文汤晓鸥大神实验室的工作。这个方法的pipeline很复杂，大致上是用TSN(Temporal Segment Network, 用于Action Recognition的state-of-the-art方法,也是他们组的工作)在视频序列上每隔几帧判断该时刻属于动作的概率（是动作/不是动作），基于这个概率的曲线提出了一种叫Temporal Actionness Grouping(TAG)的proposal方法。之后再进行类别的判断。该方法在THUMOS2014数据库上的mAP@0.5 为28.2%。
这篇文章对temporal action detection这个问题进行了非常细致的讨论，非常值得一读。这个方法的主要缺陷我认为是速度，主要由于使用的TSN网络速度本身比较慢（而且其中使用的光流还需要预先提取一遍）。像他们做的AcitivityNet这个数据库视频时长有700小时，如果没有足够的GPU我感觉根本无法完成实验...
[3] Gao J, Yang Z, Sun C, et al. TURN TAP: Temporal Unit Regression Network for Temporal Action Proposals[J]. arXiv preprint arXiv:1703.06189, 2017.
链接：Temporal Unit Regression Network for Temporal Action Proposals
这篇文章采用了类似Faster-RCNN的思路，主要是作为proposal的方法。pipeline比较简单。
该方法在THUMOS2014数据库上的mAP@0.5 为25.6%。
[4] Wang L, Xiong Y, Lin D, et al. UntrimmedNets for Weakly Supervised Action Recognition and Detection[J]. arXiv preprint arXiv:1703.03329, 2017.
链接：[1703.03329] UntrimmedNets for Weakly Supervised Action Recognition and Detection
还是港中文CV实验室的工作。这篇文章主要提出了一种可以用于 Action Recognition和Action Detection的弱监督方法。
从CVPR2016到CVPR2017, 在THUMOS14数据库上的效果就提高了10%。速度真是快啊。。希望等完整的list放出来后可以看到更多的工作。
最后推荐一下我的论文笔记专栏CV论文笔记及其它 - 知乎专栏。之后应该会专门对temporal action detection这个方向进行介绍和讨论。
