paper-reading-20160306

之前阅读了左老师的两个paper,一直没有给总结,今天来赶紧写一下

《On kernel difference-weighted k-nearest neighbor classification》

KNN的改进方法,利用临近点的差距作为权值的学习策略。将权值的学习转化成约束优化的问题,从优化数学的角度论证了易求解和适应高斯噪声以及扩展为kernel version,实验部分k,n以及theta是prefix然后相互学习下降求解的。
Contribution:
1.提出difference-weighted,转化成约束优化Model
2.证明了理论性以及适应于非线性数据集,kernel
3.得到实验结果比一些state-of-art的NN要好

摘要

NN是一个简单有效的模式识别聚类方法,这个论文提出了Kernel difference-weighted的KDF-KNN方法,用difference-weighted作为计算聚类距离时的权值,将一般的权值求解编程带约束的优化问题,并基于此理论Kernel化,最后验证数学理论和算法复杂度

问题建模

将最近邻的权值设置为 $W = argmin\frac{1}{2}||x-w^TX||^2 $ , $s.t. \sum_i^w w_i =1 $ , x为样本与相邻的欧几距离,w为当前权值。w是最终关于该数据集模型的最优权值,所以接下来的DW-KNN就是求解上述方程的约束最优化问题了

接下来使用凸优化和朗格朗日的方法求解,接下来做了关于高斯噪声的优化以及Kernel提升以适应非线性数据集,还理论分析对比了该方法与其他方法的复杂度

总结

该方法计算使用x与邻近的不同作为权值来计算,而非简单的距离。将该问题有效转化成约束优化问题,从理论上证明该方法的理论有效性并从实验验证了该算法的有效性。
Difference-Weighted

《On accurate orientation extraction and appropriate distance measure for low-resolution palmprint recognition》

左老师在理大生物识别实验室的掌纹识别工作

1.掌纹识别的背景
2.两个问题:低分辨下,feature和distance measure
3.提出orientation feature
4.提出General angular distance的框架

坚持分享,支持原创