随着红外成像技术的发展，红外图像处理系统在军事和民用应用中发挥着重要作用。尽管红外弱小目标检测作为关键技术之一近年来发展迅速，但由于以下原因仍面临挑战：在实际场景中，云层、建筑物、海面等杂波容易干扰或淹没小目标；由于探测距离大，信杂比(SCR)非常低；由于目标尺寸小，只能利用少量形状或纹理信息。
在过去的几十年里，学者们对弱小目标检测进行了许多研究。根据使用图像方式的不同，这些检测方法可分为两类：基于单帧的方法和基于多帧的方法。一般来说，单帧检测方法具有复杂度低、实时性好、易于硬件实现等优点。然而，当SCR较低或背景复杂时，这种方法会产生许多虚警，从而降低检测精度。因此，提出了多帧方法来提高检测率。这类方法更稳定，检测性能更好，因为可以利用红外序列中的空间和时间信息。然而，计算量不可避免地增加，这给实际应用带来了一些困难。
传统方法的关键点之一是根据数据结构设计特征提取器和检测器。在这些方法中，特征提取、阈值分割和检测通常是分开的，在整个过程中，一些参数通常根据经验设置，导致无法解决复杂序列中可能出现的未知变化，表达能力不足和泛化能力弱，这限制了它们的发展。
近年来，深度学习方法发展迅速，在目标检测领域取得了显著进展。这些方法使用神经网络从大量数据中学习特征，使学习到的特征能更好地表达数据内部的丰富信息。此外，神经网络可以在同一模型中集成特征提取、特征选择和分类，然后通过端到端训练全局优化模型。以卷积神经网络(CNN)为例，凭借其强大的特征提取和泛化能力，它越来越受欢迎，极大地推动了目标检测的发展。因此，为了克服传统方法的缺点，可以使用神经网络作为小目标检测的特征提取器和检测器。此外，神经网络还具有自适应和自学习的能力。通过训练，网络可以根据周围环境不断改变自身参数，不仅能处理变化的信息，还能不断改变自身。因此，为了提高检测的鲁棒性，可以使用神经网络处理具有变化信息的红外序列。
但仍有一些困难需要克服：
(1) 强空间非平稳杂波。如图1所示，目标与背景的对比度非常低，难以区分。此外，与小目标相比，一些杂波（如图1中绿色和黄色框所示的区域）在尺寸上非常接近，但能量更强，因此这些杂波会对检测器造成极大干扰。如果将这些强杂波和微弱目标用于训练神经网络，网络会偏向这些强杂波。
(2)假收敛和样本误判问题。红外图像中的小目标太少，有时一张图像中只有一个目标。在这种情况下，样本数量不足。因此，在网络训练阶段，由于参与损失计算的正样本很少，损失值会非常小。经过短时间训练后，损失达到一个很小的值且不再下降，造成网络已经收敛的假象。然而，在这种情况下，训练模型的检测性能非常差，因为网络本身并未真正收敛。我们称之为假收敛问题。此外，如果使用常用的交并比(IOU)样本选择方法，一个目标像素会被同时分类为正样本和负样本，称之为样本误判问题。具体讨论见小IOU策略部分。
为了进一步解决上述问题，充分利用红外序列中的时空信息并提高低SCR和复杂背景条件下的检测性能，Chen等人提出了一种基于时空特征的检测框架。该框架主要包括帧间能量累积(IFEA)增强机制、时空特征提取模块以及区域提议网络和感兴趣区域(RPN-ROI)检测网络。该研究成果为红外小目标检测领域带来新的思路与方法，以A Spatial-Temporal Feature-Based Detection Framework for Infrared Dim Small Target为题，发表在期刊IEEE Transactions on Geoscience and Remote Sensing上。
小IOU策略和IFEA增强机制是专门为红外小目标设计的两种新方法。端到端检测框架结构（一种常见的Backbone-RPN-ROI神经网络）并不新颖。新颖之处在于：(1)在Backbone之前使用IFEA提取时空信息并抑制杂波；(2)在RPN和ROI部分均使用小IOU策略，使神经网络能够正确学习小目标样本的特征。尽管整体结构不新，但为其添加了新元素。
在训练神经网络时，通常使用IOU和锚框来选择正负样本。对于一个锚框和一个真实框，IOU是它们的交集与并集的比值。例如，在Faster-RCNN中，如图2所示，对于一个锚框，如果锚框与GT的IOU大于0.7，则锚框中的样本标记为正样本；如果IOU小于0.3，则样本标记为负样本。这种方法对于大物体是合理且友好的。根据SPIE的定义，小目标的尺寸小于9×9像素，可能在2×2到超过10×10（像素）之间变化。然而，在许多红外场景中，由于探测距离远，目标通常仅占据一个或几个像素。检测算法能检测到的目标越小，探测器可放置的探测距离就越长。对非常小的目标的检测研究具有重要的实际意义。基于此考虑，本文更关注尺寸小于3×3像素的目标。如图2所示，对于尺寸小于3×3的物体，目标的3×3邻域可以表示该物体。对于一个检测结果，当检测框的尺寸小于或等于3×3且目标中心包含在检测框中时，可以认为检测结果是正确的，因为检测到的目标位置与真实位置仅相差一个像素，满足精度要求。
然而，常用的IOU策略对于小物体（3×3像素）过于严格且不合适。如图2所示，如果使用常用的IOU阈值0.7和0.3，则只会有一个正样本。在这种情况下，训练神经网络时，参与损失计算的正样本很少，因此损失非常小，网络会被认为已经收敛。然而，这种收敛是由于正样本数量少造成的，而非通过合理训练获得的收敛，这是一个假收敛问题。此外，如果样本的中心点是强度较强的像素，由于形状或纹理信息很少，像素强度将成为神经网络提取目标样本特征的重要来源。然而，由于包含该像素的样本的IOU小于0.3，该像素也被判定为负样本。因此，在训练阶段，具有此特征的像素被同时分类为正样本和负样本（如图2所示），导致误判。
基于小IOU策略和IFEA增强机制，构建了一个端到端的弱小目标检测框架。图3描绘了所提出框架的总体框图，该框架由IFEA、时空特征提取模块和RPN-ROI检测网络组成。
经过IFEA后，可以得到XIFEA。XIFEA包含时间信息，原始图像Xc包含空间信息。为了利用时间和空间信息，将Xc和XIFEA都输入到CNN骨干网络中，以进一步提取时空特征。
由于红外数据量少，难以训练大型模型（如ResNet）。通常的方法是在大型可见光数据集上训练模型，然后在红外数据集上微调。然而，由于可见光图像和红外图像之间的差异，这种方法效果不佳。在本文中，根据数据量，仅使用一个七层卷积网络(Conv1-Conv7)作为骨干网络。骨干网络中没有下采样层，因为得出结论，下采样会影响小目标的检测。此外，我们得出结论，浅层特征是检测小目标的重要因素，而深浅融合特征有助于提高检测率。在这项工作中，发现浅层特征图中会出现干扰边缘。考虑到上述因素，采用了特征融合网络结构。该工作使用特征拼接方法进行特征融合，可以保留更多信息。
为了验证算法的鲁棒性，在几种不同的环境下进行了实验，数据集介绍如表1所示。实验结果如图4和表2所示。
本文提出了一种新颖、准确且端到端的基于序列的红外弱小目标检测框架，该框架由IFEA增强机制、时空特征提取模块和RPN-ROI网络组成。特别是，首先分析了假收敛和样本误判问题，并提出了小IOU策略来解决它。其次，为了克服低SCR和复杂背景条件下小目标检测的困难，提出了IFEA以增强弱小目标的能量并抑制背景杂波。随后，在这些基础上构建了一个集成框架来提取时空特征并检测弱小目标。在红外数据集上进行的实验验证了所提方法优于现有的代表性方法。
综上，针对密集运动红外小目标检测的挑战，该团队提出了一种新颖、准确且端到端的基于序列的红外弱小目标检测框架，该框架由IFEA增强机制、时空特征提取模块和RPN-ROI网络组成。特别是，首先分析了假收敛和样本误判问题，并提出了小IOU策略来解决它。为了克服低SCR和复杂背景条件下小目标检测的困难，提出了IFEA以增强弱小目标的能量并抑制背景杂波。在这些基础上构建了一个集成框架来提取时空特征并检测弱小目标。在红外数据集上进行的实验验证了所提方法优于现有的代表性方法。
科学技术的发展离不开科研仪器的进步。凯视迈（KathMatic）自2014年创建以来，一直“致力于高精尖光学测量技术”，已成为集“研发、制造、销售”为一体的国产高端光学精密测量仪器新力量。推出了KC系列多功能精密测量显微镜🔬、KS系列超景深3D数码显微镜🔬以及KV系列激光多普勒测振系统，取得了良好的市场成绩。详情欢迎留言咨询!
