原文:Click
作者:Jungong Han,Ling Shao
这个论文主要简介一些基于Kinect的计算机视觉算法和应用,涵盖了包括深度信息的预处理,Kinect的精确标定;物体跟踪和识别;人类活动分析和手势分析以及室内3D匹配。
这是一篇全面介绍RGB-D 技术进行CV研究的综述,里面可以挖掘很多可以细抠的论文。
主要用于入门延伸阅读所用。
介绍Kinect实现和技术原理的论文《Microsoft Kinect Sensor and Its Effect》
关于深度信息的光线三维成像原理查看论文《Structured-Light 3D Surface Imaging: A Tutorial, Advances in Optics and Photonics》
- 硬件:RGB Camera,3D Depth Sensor,Motorized Tilt(调整角度)
- 软件:OpenNI, Microsoft Kinect SDK,OpenKinect
1.预处理:
Kinect重标定,广泛的基本方法《Accurate and Practical Cali-
bration of A Depth and Color Camera Pair》深度信息的过滤,《Joint Denoising and Interpolation of Depth Maps for MS Kinect Sensors》通过在物体边界寻找空间对应点,物体在彩图分割转移到深度图中。
《 Structure Guided Fusion for Depth Map Inpainting, Pattern Recognition Letters 》
2.物体跟踪和识别
- DETECTION:《Leveraging RGB-D Data: Adaptive Fusion and Domain Adaptation for Object Detection》
- 室内切割《 Indoor Segmentation and Support Inference from RGBD Images》 其中包含RGBD数据集
- 行为识别 《Accurate 3D Pose Estimation from A Single Depth Image》
- 场景识别 《RGB-(D) Scene Labeling: Features and Algorithms》使用加入深度信息的FEATURE有利于提高COMPACITY,抵挡灯光影响和杂乱影响。然而,计算量加大难以实时Real-time
3.手势识别和分析 4.手势动作(然而这个我并不关心,谢谢)
5.室内3D匹配
AIM:对室内环境的数字化表达,室内三维重建
研究包含两部分:1.数据和特征的抽取 2.循环检测并全局优化
A.稀疏(sparse)特征匹配
典型《RGB-D Mapping: Using Depth Cameras for Dense 3D Modeling of Indoor Environments》 优化结合appearance and shape(依赖深度图所得) 通过Iterative Closest Point(ICP)算法。
B.密集点云匹配(Dense points tracking between two frames)
计算量大,不易实时,但有成功的论文《KinectFusion: Real-Time Dense Surface Mapping and Tracking》
针对特定问题下的论文:
LARGE LIGHTING VARIATIONS《Dense RGB-D Mapping for Real-Time Localisation and Navigation》
CAMERA ROAM FREE《Moving Volume KinectFusion》
室内基准实验数据集 《A Benchmark for the Evaluation of RGB-D SLAM Systems》
6.问题&展望&总结
- REAL-WORLD应用
- 有效算法模型
- RGB-D信息高效整合