计算机视觉研究的最新突破使机器能够通过诸如用于检测属于某一类的对象实例的对象检测和用于像素分类的语义分割等技术来感知其周围世界。
处理实时视频时，这些技术的大多数实现仅解决同一张图像中对象之间的关系，从而忽略时间维度的信息。换句话说，每次它们都会独立地重新评估视频的每一帧，就好像它们是完全不相关的图像一样。但是，如果我们确实需要连续帧之间的关系，例如，我们想要跟踪车辆跨帧的运动以估计其当前速度并预测其在下一帧中的位置，该怎么办？
稀疏的光流（每个箭头指向相应像素的预或者，如果我们需要有关连续帧之间人类姿势关系的信息来识别人类行为，如射箭、棒球和篮球，该怎么办？
使用光流对动作进行分类为了解决上述的问题，我们将了解什么是光流，和其两个主要变体（稀疏和密集）。
光流是物体在连续帧序列之间的运动，由物体与相机之间的相对运动引起。
左稀疏光流;右密集光流稀疏光流选择一组稀疏特征像素（例如有趣的特征，例如边缘和角落）来跟踪其速度矢量（运动）。提取的特征在光流函数中从帧传递到帧，以确保跟踪相同的点。稀疏光流有多种实现方式，包括卢卡斯-卡纳德方法、霍恩-舒克方法、巴克斯顿-巴克斯顿方法等。
密集光流尝试计算每帧每个像素的光流矢量。虽然这种计算可能较慢，但它提供了更准确的结果和更密集的结果，适用于从运动和视频分割中学习结构等应用。密集光流有多种实现方式。Farneback方法算是最流行的实现之一。
除了上面的计算机视觉算法，当前用深度学习解决光流问题也是一个非常热门的话题，FlowNet、SPyNet、PWC-Net等的变体在各种基准测试中都取得很高的成绩。
