论文阅读《Enhanced Computer Vision with Microsoft Kinect Sensor:A Review》

原文:Click
作者:Jungong Han,Ling Shao

这个论文主要简介一些基于Kinect的计算机视觉算法和应用,涵盖了包括深度信息的预处理,Kinect的精确标定;物体跟踪和识别;人类活动分析和手势分析以及室内3D匹配。

这是一篇全面介绍RGB-D 技术进行CV研究的综述,里面可以挖掘很多可以细抠的论文。
主要用于入门延伸阅读所用。

介绍Kinect实现和技术原理的论文《Microsoft Kinect Sensor and Its Effect》

关于深度信息的光线三维成像原理查看论文《Structured-Light 3D Surface Imaging: A Tutorial, Advances in Optics and Photonics》

- 硬件:RGB Camera,3D Depth Sensor,Motorized Tilt(调整角度)
- 软件:OpenNI, Microsoft Kinect SDK,OpenKinect

1.预处理:

  • Kinect重标定,广泛的基本方法《Accurate and Practical Cali-
    bration of A Depth and Color Camera Pair》

  • 深度信息的过滤,《Joint Denoising and Interpolation of Depth Maps for MS Kinect Sensors》通过在物体边界寻找空间对应点,物体在彩图分割转移到深度图中。
    《 Structure Guided Fusion for Depth Map Inpainting, Pattern Recognition Letters 》

2.物体跟踪和识别

  • DETECTION:《Leveraging RGB-D Data: Adaptive Fusion and Domain Adaptation for Object Detection》
  • 室内切割《 Indoor Segmentation and Support Inference from RGBD Images》 其中包含RGBD数据集
  • 行为识别 《Accurate 3D Pose Estimation from A Single Depth Image》Basic processing pipeline of Activity Recognition
  • 场景识别 《RGB-(D) Scene Labeling: Features and Algorithms》使用加入深度信息的FEATURE有利于提高COMPACITY,抵挡灯光影响和杂乱影响。然而,计算量加大难以实时Real-time

3.手势识别和分析 4.手势动作(然而这个我并不关心,谢谢)

5.室内3D匹配

AIM:对室内环境的数字化表达,室内三维重建
研究包含两部分:1.数据和特征的抽取 2.循环检测并全局优化

A.稀疏(sparse)特征匹配

典型《RGB-D Mapping: Using Depth Cameras for Dense 3D Modeling of Indoor Environments》 优化结合appearance and shape(依赖深度图所得) 通过Iterative Closest Point(ICP)算法。

B.密集点云匹配(Dense points tracking between two frames)

计算量大,不易实时,但有成功的论文《KinectFusion: Real-Time Dense Surface Mapping and Tracking》

针对特定问题下的论文:
LARGE LIGHTING VARIATIONS《Dense RGB-D Mapping for Real-Time Localisation and Navigation》
CAMERA ROAM FREE《Moving Volume KinectFusion》
室内基准实验数据集 《A Benchmark for the Evaluation of RGB-D SLAM Systems》

6.问题&展望&总结

  • REAL-WORLD应用
  • 有效算法模型
  • RGB-D信息高效整合
坚持分享,支持原创