李乔亮,汪国有,刘建国,会员,IEEE,和陈少波

2008年8月7日接收;2008年10月22日和2008年11月27日修改。2009年2月2日首版；当前版本出版于2009年4月17日。本项工作由中国国家基础研究项目60672060资助。

中国湖北省武汉市华中科技大学模式识别与人工智能国家重点实验室,邮编430074(邮箱:lql_lql_lql@yahoo.com.cn;   gywang@mail.hust.edu.cn;  liujg11@126.com;  chenshaobo1@163.com)

数字对象识别编号 10.1109/LGRS.2008.2011751

摘要——当尺度不变特征变换（SIFT）运用在遥感图像的配准时，如果遥感图像和可见光图像之间的有显著差异，将会出现很多的误匹配的特征点。为实现遥感图像中健壮的特征匹配，提出了尺度-方向的联合限制标准。并且重新定义了特征描述算子，以克服遥感图像对的梯度强度和方向之间测差异。对多时相、多频谱和多传感器的遥感图像的结果表明，与基于亮度和SIFT的方法相比，本文提提出的方法有着更高的正确匹配率和对准精度。

索引词——特征匹配，图像配准，尺度不变特征变换（SIFT），尺度-方向的联合限制准则。

1. 引言

图像配准[1] 在遥感图像分析如遥感图像融合、环境监测、变化监测、地图更新等中是很重要的一步。很多方法已经被踢出来以实现图像配准的自动化处理。这些方法可以被概括为以下的两大类。

1）基于像素亮度的方法：在这些方法中，使用的最具代表性的相似度测量是互相关（cross correlation, CC）[1] 和互信息量（Mutual information, MI）[2]。然而当图像对中有大的旋转或伸缩位移时，互相关的方法不足以胜任。同时由于全局优化的高度复杂性，使得基于互信息量的方法也不适于实时应用。

2）基于图像特征的方法：这些技术从图像中提取特征如边缘、角点、轮廓和区域形心，然后使用这些特征之间的相关性实现图像之间的最优排列。然而仅仅使用一些稀疏的特征不能够保证配准的鲁棒性。在这些算法运用时，常常需要人工辅助，否则正确匹配率（correct-match rate, CMT）将会变得非常低。

图1. 多光谱,多时相和多传感器遥感图像对. (a) Daedalus Band2. (b) Daedalus Band4. (c) Landsat Thematic Mapper (TM)in 1986. (d) Landsat TM in 1988. (e) Landsat TM. (f) SPOT.

至今，带有大尺度的平移、旋转和尺度变换的遥感图像自动配准仍然是一个挑战。最近，尺度不变特征变换(SIFT)成功用于可见光图像的配准与识别，这是由于它在图像尺度变换和旋转变换时有着好的不变性以及在亮度和摄像机视角改变的部分不变性。此外，PCA-SIFT[8]、CSIFT[9]和GLOH[10]等在SIFT的基础上改善使其更加高效。然而，当我们采用基于SIFT的方法对齐遥感图像时，会出现很多特征点的误匹配；因而正确率急剧下降。问题的根源是遥感图像对中的相同区域的亮度可能由于某种原因变得显著不一致，原因如曝光时间、频谱和传感器的不同，以及图像对之间的亮度映射关系坑能是线性、非线性或不确定的（图.1）。为了特服这个问题， Yi et al.[11] 提出了SR-SIFT的方法，尺度限制准则被用于特征匹配的过程。他们声称该方法在匹配可见光和红外图像时，性能有了提高。然而，由于图像采集设备之间在频谱范围和硬件设备上有着显著的差异，使用SR-SIFT进行匹配的正确率也有着显著的下降。

为了实现遥感图像的尺度不变特征变换特征点匹配的鲁棒性，我们提出尺度-方向的联合限制准则以提出大量的误匹配的关键点。此外，重新定义了遥感图像关键点的特征描述。与基于亮度的注册算法和SR-SIFT相比，提出的算法在保持遥感图像高对齐精度的同时，充分提高了匹配的正确率。由于在很多应用场合，遥感图像的几何失真可以用”保形失真“[1]（只有平移、旋转和尺度变换）建模而不会产生大的错误，我们也采用了这一简单的模型来估计两个关键点集之间的变换参数同时具有更好的计算性能。如果必要，更加复杂的模型如透视变换也被用于图像注册配准算法。

2. SIFT匹配用于遥感图像时的问题

基于SIFT的配准算法有3个主要的模型：关键点提取，特征描述和特征匹配算法。关键点提取器使用拉普拉斯逼近高斯差分滤波器，并且检测尺度空间中的局部极值点作为候选关键点。在每一个候选的位置，使用更复杂详细的模型去检测准确的位置和尺度。低对比度的或者是位于边缘的关键点将会被拒绝。最后，每一个点使用一个4维向量(xi,yi,σi,θi)T表示，其中(xi,yi)表示位置，σi 表示尺度而θi表示主方向。描述算子为每一个关键点基于4×4的子区域（如图2）分配一个128维的特征向量。特征匹配算法使用关键点的特征描述向量间的最小欧氏距离来，确定最近邻以找到另一幅图像的对应特征点。可以参考文献[7]了解关于SIFT的更多细节。

图2. SIFT描述算子.(a)图块1(b)图块2

(c)笛卡尔坐标格栅(d)极坐标格栅

表一 正确率的对比

为了确保正确匹配，Lowe[7] 建议最近邻和次近邻之间的比率应该小于一个阈值。这个度量在可见光上表现得很好，因为为了实现可信的匹配，正确匹配需要比最近的误匹配更加显著的近。然而，当用于遥感图像时，由于遥感图像的亮度关系，这个显著性就被大大地削弱了。

当图像频谱或者传感器之间没有显著差异时，SIFT常常不能对齐图像对。

3. 鲁棒SIFT

A. 重新定义特征描述算子

在遥感图像对中，像素的亮度和梯度有着显著的差异，并且图像对中相同区域梯度朝向坑能完全相反。这些差异可能导致两个关键点的主方向的不同，而主方向被用于正确的匹配的度量。为了让特征描述在这些差异中有更强的鲁棒性，我们重新定义了每个特征点的主方向，这是特征匹配的首要因素。首先，我们使用如下公式更改了每个像素的梯度方向，

，

其中，R(?)表示原始方向?的重新定义。然后，我们采用自适应技术为每一个关键点赋予了比SIFT更多的主方向，该技术可以描述为：

，

这里的hk表示在梯度直方图中方向k上的值。梯度直方图中，大于Th的方向被认为是主方向。如入2(d)所示，我们采用了GLOH[10]圆形图形块去建立一个特征向量，梯度值仅仅贡献给围绕着它的直方图，以实现大的局部位置偏移。采用提纯后的描述算子后，图像对 P-A, P-B,和 P-C 的正确率分别从61%、95%、56%提高到了72%、98%和62%。

为了测试公式（1）和（2）中所使用的特征描述算子，我们计算了关键点对在他们位置偏移时的特征距离和相对主方向（relative main orientation , RMO）。与图4(a)相比，在偏移量的绝对值小于5时图4(c)的曲线大体上是光滑的，并且相对主方向维持在0附近。

B 鲁棒特征匹配

考虑到遥感图像对中通常没有局部扭曲，本论文的配准算法引入了“保形映射”模型[1]。在设个模型下，所有关键点的旋转角度和尺度因数是相同的，所提出的尺度-方向联合限制准则充分利用这一特征去提取正确匹配的关键点。

假定有从图像对中提取的两个关键点集C={c1,c2,...,cM}和C ={c‘1,c’2,...,c‘N}，其中每个关键点ci和对应点c’i，而ηi 和η’i表示各自主方向，si和s’i表示各自的尺度， rηi =ηi?η’i 表示相对主方向。同时定义关键点对(ci,c‘i)的外观(尺度)误差[14]和RMO误差为

，

式中s*和rη*是尺度因子和旋转角度的当前估计值。为了考虑外观误差和RMO误差的影响，我们定义了关键点对(ci,c‘i)的联合距离(joint distance, JD）

，

式中的ED(i)表示输入关键点的特征向量的欧氏距离。当关键点对的外观观误差和RMO误差都是零时，联合距离与欧氏距离相等。在遥感图像的关键点对匹配时，当由于图像对间不同的亮度映射导致寻找到欧氏距离最小的错误匹配关键点，会发生误匹配。然而，很多情况下，错误匹配的点对不会同时拥有最小的欧氏距离、相同的尺度和相同的主方向；而正确匹配的点对通常会有相同的尺度、相同的主方向以及相对小的欧氏距离；这就意味着当点对正确匹配时点对间的联合距离最小。

尺度-方向联合限制准则的关键思想是采用联合距离作为距离度量而非欧氏距离。匹配算法可以被总结为一下三步。

1）匹配预处理：对于每一个关键点，使用它的特征向量的最小欧氏距离去寻找它对应的关键点，并且使用最近邻和次近邻的比值去排除错误的匹配（如同SIFT中所用）。我们称这个处理为欧氏距离比值(Euclidean distance ratio, ED-R)滤波，使用Td表示比值的阈值。这样就获取了关键点对集CC，然后就可以建立CC的尺度比值直方图和RMO直方图。然后使用公式（2）中的自适应阈值寻找两个直方图中的峰值，然后两类峰值{s*,rη*}的所有可能注册用序号k=1,2,…K排序（如图5）。

2）匹配：详细的处理过程显示在图6中。JD-R滤波器是采用JD作为距离度量是的ED-R筛选器，dk是CCk点对集的JD均值。

通过寻找最小的dk获取优化的点集CCk*，其中k=1,2,…,K。

3）匹配的后处理：除非两幅图像绝对相同，不然一幅图像中所有检测到的特征点不会都有正确的匹配点。因此经过JD-R滤波处理后，CCk*仍然会有错误的匹配。

第一步的目的是获取尺度因子和旋转角度的所有的候选聚类中心。第二步的匹配过程使用这些候选值作为JD-R筛选的输入，然后通过最小化dk来寻找可信的聚类中心。在有很多的误匹配点对时，SR-SIFT[1]里直接采用直方图的最高峰值作为聚类中心，而本文提出的方法可以选取正确合理的聚类中心，因此有利于后续的处理。

C 参数选取和模型估计

鉴于Lowe[7]采用Td=0.8而Mikolajczyk[14]采用Ts=0.4，我们实验时步骤1）中Td取值0.8，而第二步取较大的值0.9以尽可能的获取足够多的候选关键点对。在步骤3）中，我们是赋Ts值为0.4。对于遥感图像Tr=0.5（弧度）足够严格一限制RMO误差。最后我们采用MDSAC[12]算法排除孤立点，并在实现比RANSAC算法更快的收敛。采用最小二乘法求解关联图像对之间的最合适的放射参数。

4.实验和结果

由于在图像处理如运动目标识别和实时遥感应用中，没有关于传感器参数、图像对间大角度的旋转和缩放平移等具信息，所以在实验中用到这些参变量以检验提出来的算法的能力。这个典型的方法更广泛的用于应用领域里，能够避免遥感设备在获取处理和保存这些参数时的额外的硬件或软件开销。

A. 图像集

为了测试提出算法的性能，我们将遥感图像分为了三个图像集：

1）P-A图像集：来自同一个传感器的200个多谱图像对，传感器有 Landsat TM 和 Daedalus。见图1(a)。

2）P-B图像集：来自Landsat TM传感器的不同时间的50个多光谱图像对。见图1(b)。

3）P-C图像集：分别来自Landsat TM和SPOT的50个多光谱图像对。见图1.(c)。

1. 所有的遥感图像均归一化为512×512的灰度图像。图像对的错位参数：平移范围为-100~100，旋转范围为0~180°，尺度因子为0.5~2 。
2. B. 评价准则
3. 我们采用了均方根误差（root-mean-square error，RMSE）和正确匹配率CMT作为评价所提出方法性能的评价准则。
4. 1）RMSE：每一个测试中手工选取大约30个测试点（test-point, TP）对。在选取的30个点对中，有20对用于训练，剩下的10对用于测试。计算10个点对的均方根误差一判断采用本文算法进行配准后的对齐准确性。使用20个训练点对计算变换模型参数的均方根误差作为参考基线标准。使用以下公式计算给定的两个点集的均方根误差，即
5. ，
6. 这里(Xi,Yi)和(X’i,Y‘i)是第i个点对的坐标，u=λcosθ,v=λsinθ,参数向量(λ, θ,ΔX,ΔY)表示尺度因子、旋转角度和平移偏移量。对于每一个测试例子，执行测试5次，取5平均值作为最终的rmse。
7. 2）CMT：CMT等于正确匹配的图像对个数与总图像对个数的比值。
8. 
9. 注，只有当图像对的rmse结果值小于4时才判定为正确匹配的图像对。

C 实验结果

将本文提出的算法与CC[1]，ARRSI[12]，SIFT[7]和SRFT[11]四个算法进行对比。这四个算法中，CC算法根据论文[1]实现，而其他的三个算法则基于公共代码和作者的帮助。表1是这些算法得到的正确匹配率CMT。图7是图1中图像对的合成图像配准结果。

从被所有测试算法判定为正确配准的图像对中选取50个图像对，用来计算RMSE。其中，40对来自于P-A图像集，5对来自于P-B图像集，其余5对来自于P-C图像集。

从图8可以看出，本文提出的算法的结果比其他三种方法有更高的对齐精度，并且最近接由选取的测试点对所计算得到的基准值。考虑到SR-SIFT比SIFT更加准确，为了使图像更加清楚，我们没有使用SIFT的RMSE值。

V结论

为了实现遥感图像的自动化配准，首先分析了使用SIFT进行遥感图像匹配时遇到的问题。为了克服遥感图像对之间的亮度差异，我们重新定义了每个关键点的特征描述。并且，我们提出了一种名叫尺度-方向俩呢限制准则来实现候选关键点健壮的特征配准。并对多时相、多频谱和多传感器遥感图像进行了实验，结果表明，本文提出的方法跟基于亮度的方法如SIFT和SR-SIFT等相比，有着更高的正确匹配率和配准精度，因此有助于后续的遥感图像融合和分析的处理。

致谢

感谢无名的评审者，谢谢他们有帮助的评论和好的建议。感谢A. Wong 先生在ARRSI[12]的指导，感谢Kovesi提供的实现相位一致和Vedaldi提供的实现SIFT[7]的开源MATLAB代码。最后，也感谢曹治国教授在SR-SIFT[11]的指导。

REFERENCES
[1] B. Zitova and J. Flusser, “Image registration methods: A survey,”Image is. Comput., vol. 21, no. 11, pp. 977–1000, Oct. 2003.
[2] J. Inglada, “Analysis of artifacts in subpixel remote sensing image registration,” IEEE Trans. Geosci. Remote Sens., vol. 45, no. 1, pp. 254–264,Jan. 2007.
[3] C. Hsu and R. Beuker, “Multiresolution feature-based image registration, “ in Proc. SPIE—Visual Communicationsand Image Processing, 2002,vol. 4067, pp. 1490–1498.
[4] C. Y. Wang, H. Sun, S. Yada, and A. Rosenfeld, “Some experiments in relaxation image matching using corner features,” Pattern Recognit.,vol. 16, no. 2, pp. 167–182, 1983.
[5] H. Li, B. Manjunath, and S. Mitra, “A contour-based approach to multisensor image registration,” IEEE Trans. Image Process., vol. 4, no. 3,pp. 320–334, Mar. 1995.
[6] Y. Sheng and C. A. Shah, “Automated image registration for hydrologic  change detection in the lake-rich Arctic,”IEEE Geosci. Remote Sens.Lett., vol. 5, no. 3, pp. 414–418, Jul. 2008.
[7] D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, no. 2, pp. 91–110, Nov. 2004.
[8] Y. Ke and R. Sukthankar, “PCA-SIFT: A more distinctive representation for local image descriptors,” inProc. Int. Conf. Comput. Vis., Washington, DC, 2004, pp. 506–513.
[9] A. E. Abdel-Hakim and A. A. Farag, “CSIFT: A SIFT descriptor with color invariant characteristics,” inProc. Int. Conf. Comput. Vis., 2006, pp. 1978–1983.
[10] K. Mikolajczyk and C. Schmid, “A performance evaluation of local descriptors,”IEEE Trans. Pattern Anal. Mach. Intell., vol. 27, no. 10, pp. 1615–1630, Oct. 2005.
[11] Z. Yi, C. Zhiguo, and X. Yang, “Multi-spectral remote image registration based on SIFT,”Electron. Lett., vol. 44, no. 2, pp. 107–108, Jan. 2008.
[12] A. Wong and D. A. Clausi, “ARRSI: Automatic registration of remotesensing images,” IEEE Trans. Geosci. Remote Sens., vol. 45, no. 5, pp. 1483–1493, May 2007.
[13] K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, and J. Matas, “A coparison of affine region detectors,”Int. J. Comput. Vis., vol. 65, no. 1, pp. 43–72, Nov. 2005.
[14] K. Mikolajczyk and C. Schmid, “Scale and affine invariant interest point  detectors,”Int. J. Comput. Vis., vol. 60, no. 1, pp. 63–86, Nov. 2004.

[翻译]鲁棒的尺度不变特征匹配在遥感图像配准中应用(Robust Scale-Invariant Feature Matching for Remote Sensing Image Registration)