Author:Kourosh Khoshelham and Sander Oude Elberink
Abstract: Discuss the calibration of Kinect sensor and analysis it based on the mathematical model of depth measurement from disparity.
1.Introduce
sec 1 介绍全文
sec 2 介绍原理和模型
sec 3 介绍误差影响要素
sec 4 实验结果和分析
sec 5 总结和remark
2.深度测量 with triangulation
Triangulation Methods of Kinect [1] laser source emits single beam which split into multiple beams by diffraction.
The reference pattern is obtained by capturing a plane at a known distance.
Disparity:The shifts are measured for all speckles by a simple image correlation procedure,which yield a disparity image.
以下图为例,分析
o为参考平面,k为目标物体位置。由laser projector(不动)发出多个光束,ir camera调整角度使接收到的目标反射光斑落在参考平面上,得到偏移位置d.
假设完成相机标定后,则 $ Z_0 $, f, b 已知,d也可以获得。
根据数学三角原理得到:
$$ \frac{D}{b}=\frac{Z_0-Z_k}{Z_0} $$
$$\frac{d}{f}=\frac{D}{Z_k}$$
推导化简得:
$ Z_k = \frac{Z_0}{1+\frac{Z_0}{fb}d} $ (1)
假设坐标系正交,得到Z轴坐标距离后,由于f定义了关于点的图像规模(imaging scale)所以得到物体的光点坐标为
$$ X_k=-\frac{Z_k}{f}(x_k-x_0+\delta x)$$
$$ Y_k=-\frac{Z_k}{f}(y_k-y_0+\delta y)$$
其中$x_k$ 和 $y_k$为图像坐标点,$x_0$ 和 $y_0$为坐标原点,$\delta x$ 和$\delta y$ 是镜头扭曲误差校正系数
3.相机标定
我们需要求得标定的参数变量如下:
前三个通过红外照相机标准标定可得
由于USB带宽所限,标定use reduced infrared images instead of actual sensor。
Disparity measurement 采样为0~2047 11bits,则 d = md’+n。 m, n为线性化参数。
代入 公式(1)可得
$$Z^{-1}_k = (\frac{m}{fb}d’ +(Z^{-1}_0 + \frac {n}{fb})) $$
通过测得(x,y,d’)可以映射到世界坐标系的(X,Y,Z)
4.加入颜色元素