图像识别-1    机场跑道异物（FOD）识别系统

• 核心问题：复杂天气下的远距离微小尺寸目标的图像识别与定位。
• 技术要点：基于深度学习方法，通过暗光图像增强、雾霾图像复原、热浪效应图像复原技术增强识别能力，以光学系统动力机械的精确控制实现目标标的可靠定位。         

                                             低照度图像增强                                                           雾霾图像复原

• 主要结果：光照充足情况下，直径5mm以上的目标识别率达到超过98%，虚警率小于1.5%；补光灯条件下，直径1cm以上的目标识别率超过95%，虚警率小于2%。能识别的最大距离：300m。
• 应用方向：军民用机场跑道FOD监测、军舰甲板FOD监测、飞机表面缺陷监测、飞行器起飞与降落监测、机场安全防卫
• 完成情况：原理样机、演示系统，发明专利2项，论文4篇

图像识别-2  低空飞行电线检测

• 核心问题：复杂环境中及光照差别极大条件下，低空飞行直升机对大跨度细长高压电线的识别、定位与预警
• 技术要点：通过生成复杂背景下电线图像和像素标签的成对仿真数据，将U-net网络结构加以改进并使用聚焦损失函数来平衡大量负样本的影响，最后将可见光和红外图像融合实现综合识别。

• 主要结果：提出了全卷积网络电线识别方法，与传统机器学习方法相比，复杂环境下电线提取更精确、识别结果更可靠。
• 应用方向：低空飞行直升机、无人机等无人系统区域避障
• 完成情况：研制了原理样机和演示系统，获得国家发明专利2项，发表论文1篇

图像识别-3   气动光学效应图像复原

• 核心问题：高超声速飞行引起的气动光学效应（AOE）导致目标图像模糊、抖动、偏移，使AOE图像退化模型（光程差OPD或者点扩展函数PSF）既难以实时测量又难以快速仿真，从而造成目标图像复原的困难
• 技术要点：利用可重构的数据降维算法，分析由AOE引发的图像退化机理，提取图像退化的深层次特征、探索图像退化内在规律、实现图像退化模型预测，进而对图像进行复原。
• 主要结果：解决了复杂AOE图像退化模型（光程差OPD或者点扩展函数PSF）难以实时测量又难以快速仿真的情况下，为实现AOE图像复原困难，为这一难题，找到了一种可解决实际问题、具有一定实用性的有效方法.

• 应用方向：空天高速飞行AOE目标识别与跟踪
• 完成情况：完成原型系统研制，发表论文2篇

图像识别-4    景象匹配

• 核心问题：末制导获取的地面目标图像与基准图（先验形状）差异较大，如何精确识别
• 技术要点：基于曲线演化理论和水平集方法，提出一种参数自适应的KPCA先验形状约束的水平集模型，在进行分割过程前先用KPCA方法提取训练集的非线性变化特征，从而在迭代分割时使曲线向训练集中任意形状而不是一个固定形状演化

• 主要结果：可克服图像中出现的各种干扰（复杂背景下或者目标被遮挡、有缺失），而且对于姿态发生较大变化的目标也有更好的分割效果。
• 应用方向：目标精确打击，地理标志突发变化识别

完成情况：实现原型系统，国防发明专利1项，发表论文4篇

图像识别-5   飞机驾驶舱仪表信息提取

• 核心问题：仪表盘信息多样（图形与文字 ）、变化快的抓取与识别。
• 技术要点：提出了基于深度学习的特征共享多任务学习网络，该网络由基于Darknet53的骨干网络、基于ROI Align的特征裁切模块、基于YOLOv3的子仪表检测分支、基于CRNN和CTC算法的数字仪表识别分支和基于关键点检测的指针仪表识别分支组成

• 主要结果：能有效地对飞机驾驶舱主飞行仪表进行子仪表定位、数字仪表和指针仪表读数的准确识别，可准实时在视频中进行应用
• 应用方向：飞机辅助驾驶、飞机现场及远程自动测试及控制、虚拟仪表
• 完成情况：原型系统，发明专利2项

图像识别-6   空间目标识别系统

• 核心问题：在复杂背景下完成空间多目标的检测、跟踪、识别并精确提取姿态动态变化中的目标轮廓
• 技术要点：在先验形状变分水平集模型基础上，增加了X、Y方向拉伸以及剪切不变约束能量项，通过对先验形状的自适应变换拓展的仿射变换项，构建先验形状训练集，用KPCA提取先验形状的非线性特征，使曲线在迭代分割中具有多形状演化的特性，避免了目标形状的固化，从而解决了技术难题。

• 主要结果：实现具有剧烈尺度变化的空间目标稳健跟踪。有效提高仅用单帧图像，而像素少的远距空间目标序列图像识别概率；空间目标精准分割方面：可较好地克服图像中出现的遮挡、阴影、噪声、杂波等干扰的影响；适应复杂背景下姿态变化较大的目标分割，分割平均误差可达亚像素级。
• 应用方向：空间目标形态识别，空间飞行器交会对接，景象匹配
• 完成情况：研制了演示系统、原理样机，发明专利2项；论文3篇

图像识别-7   高分遥感图像解译系统

• 核心问题：武器系统侦察及打击效果评估
• 技术要点：使用多源影像地物场景智能分类技术、多源图像典型军事目标自动检测识别技术，实现目标变化检测，从而实现打击效果评估
• 主要结果：在图像优于3m分辨率条件下，地物类别优于10类，分类准确率优于80%（粗分类）；对大型舰船、能源设施、交通设施，检测识别率不低于90%；毁伤程度评估准确率大于80%。

• 应用方向：地物分类与变化检测；机场识别、飞机识别与舰船识别；遥感图像质量评估、测试评估系统；多源图像融合识别
• 完成情况：“高分遥感图像智能解译”软件、发明专利2项，论文15篇

图像识别-8   卫星遥感影像高精度定位

• 核心问题：大幅宽遥感影像的高精度密集匹配、DSM空洞区域填补。
• 技术要点：采用影像增强、“由粗到精”、分块处理的策略，基于RPC的核线和半全局(SGM方法)密集匹配方法。将带有空洞的DSM中的点的局域建模成超边；对任意给定局域中的DSM点云，建立具有某种特征的标签，并以此来预测DSM空洞区的高度。
• 主要结果：提出基于图网络的DSM空洞区域填补方法；建立的超图模型在描述存在多元关联的对象之间的关系时更为准确；提出并实现了基于超图的局域性的并行化方法。

• 应用方向：遥感影像高精度定位、多视角图像3D重建，多/高光谱图像压缩，图像融合。
• 完成情况：实现原型系统，发明专利3项，论文8篇。

注：第一届“天智杯”AI挑战赛获得“地物提取”预赛第一名，第二届“天智杯”AI挑战赛“地形快速生成”预赛第一名。

                               图像融合                                                 多时相图像变化检测                                          SAR图像压缩

原理样机：利用AI技术，将高精度、高时效的测绘产品生成迁移到星上, 研制软硬件一体化在轨智能化通用处理平台

图像识别-9   多源图像目标识别

• 核心问题：将同一个场景的两幅同源或异源图像转化到同样坐标系，异源配准难点在于适应图像灰度的非线性强度差异、局部畸变。
• 技术要点：利用深度神经网络进行端到端的异源图像配准，能同时处理红外图像和可见光图像，SAR影像和可见光图像等多个任务的配准。利用图神经网络和注意力机制，同时利用图像的局部信息与整体结构信息，提高配准网络的精度和泛化性能。

• 主要结果：基于图网络的异源图像配准能适应可见光与红外图像，以及可见光与SAR图像，配准精度达到1~2个像素。解决SAR与可见光图像间显著的平移、旋转与尺度变换问题。
• 应用方向：多源图像目标识别，图像融合
• 完成情况：演示系统，国家发明专利2项，论文5篇

图像识别-10   辅助驾驶系统

• 核心问题：驾驶环境不一致导致的测试数据与训练数据分布的差异性。
• 技术要点：基于深度迁移学习理论架构，通过实例迁移、特征迁移、模型迁移，提升ADAS关键技术水平。
• 主要结果：学习畸变域不变特征，提升了鱼眼图像的360°行人检测性能；学习对自然噪音鲁棒的低维表示，稳健地识别不同环境下获取的交通标志；迁移场景特征和司机注意力，提升驾驶行为预测性能。
• 应用方向：无人系统驾驶与飞行控制、突发变目标匹配与识别
• 完成情况：原型系统，论文8篇

图像识别-11   XX测试评估系统

• 核心问题：为高分专项专业与综合应用系统筛选出实用的模型算法，为其应用支撑设施关键技术提供测试保障。
• 技术要点：设计测试评估规范化体系，建立基于样本数据测试可量化的客观评估指标集与规范化流程。
• 主要结果：提出一种面向任务的指标适应度模型，对软件插件的核心能力进行效能评估。编制了5个规范。
• 应用方向：测试评估系统，系统性能评价
• 完成情况：规范、模型、演示软件

图像识别-12   基于NeRF的图像色彩一致性方法

问题：拍摄时间、光照条件和相机参数等因素导致的图像色彩不一致，色彩不一致会对三维重建过程造成干扰，降低生成的三维点云的精度。如何消除不同图像之间的色彩差异，提升三维重建精度

难点：1）辐射校正方法需要精准的色彩对应关系，这使得处理复杂光照条件下的图像变得困难

          2）已有的方法在光照条件快速变化时难以应对，这使得很多场景下无法实现图像色彩一致性校正

突破：提出基于NeRF的图像色彩一致性校正方法，对隐式表达的场景进行重光照，实现不同图像的色彩一致性校正

优点：

（1）能够将场景分解成阴影、照明、空间占用和漫反射，具有灵活的场景成分编辑

（2）在复杂光照的情况下，具有更好的鲁棒性

图像识别-12   基于透视意识MVSNet的三维重建方法

问题：现有方法受限于局部特征的处理能力，同时缺乏对全局上下文信息的综合考量导致三维重建精度受限。如何利用潜在的图像间对应关系来提高特征匹配的准确性，同时捕捉全局上下文信息以进行稳健的深度估计

难点：1）现有方法只考虑局部特征的匹配，如何在网络架构中实现全局特征匹配的度量

          2）室外大场景拍摄的图像往往具有较大范围的景深，这使得从多视角图像中进行特征匹配变得困难

突破：提出透视意识卷积和长程跟踪的特征匹配的方法，利用透视几何知识增强特征提取能力并实现全局特征的匹配能力

优点：

（1）弥合了局部和全局上下文特征匹配之间的差距

（2）考虑图像视点轴对于深度估计的影响

效果展示：

从点云重建具有层次关系的建筑物参数模型：

问题：当前的方法只能从点云中重建满足LoD1和LoD2标准的建筑物模型，基于点云自动高效地重建LoD3建筑物模型仍然是一个艰巨的挑战。如何能够从点云中提取建筑物组件之间的层次关系是实现LoD3的关键语义信息

难点：1）点云数据常常受到噪声和不完整性的影响，这增加了从中提取完整的三维结构的难度

          2）某些建筑物具有复杂的几何形状，这使得从点云中提取准确的顶点和边缘变得困难

突破：提出基于角点定位和边缘预测构建骨架图的组件参数估计方法，具有可扩展、灵活的参数估计能力；

                                         层次化语义分割                                                                                骨架图构建管道

优点：

（1）克服传统平面拟合和基元预定义类型方法的一些限制， 因此更加灵活，可以适应更多的结构

（2）在噪声和缺失方面，具有更好的鲁棒性

（3）在复杂结构的情况下，顶点定位精度比传统基元拟合的参数估计方法更准确

效果展示：

图像识别-13   基于多平面图像的单目新视角图像以及高程合成

问题：现有的基于匹配深度学习的根据卫星图像生成新视角和高程图的算法常常需要监督，而基于神经辐射场的此类算法需要大量视角的图像。

难点：1）当前的多平面图像渲染算法不适用于卫星相机。

          2）当前大部分神经辐射场算法在稀疏视角的图像上表现很差，然而三线阵等卫星相机一次只能拍三张。

突破：提出一种适用于卫星RPC相机的单目神经辐射场，能够进行有效的基于单目图像重建新视角图像和高程图。

优点：

（1）能可以应用于单目图像和稀疏视角图像。

（2）在数据集SatMVS3DM与TLC上获得了最好的效果。

效果展示：

基于张量神经辐射场的快速多日期新视角图像与高程图重建：

问题：目前基于卫星的神经辐射场运行速度过慢，模型参数量较大，且需要额外的太阳信息输入

难点：1）不依赖于额外的太阳信息输入

          2）建模地表的高光反应

突破：使用张量神经辐射场建模地表三维空间，在轻量化模型的同时，可以建模地表高光反射，也不依赖额外输入

优点：

（1）不需要额外的信息输入

（2）快速，模型小

效果展示：

基于全色锐化平面神经辐射场的单目多源卫星影像3D重建：

问题：卫星多光谱数据通常需要提前全色锐化以保证输出分辨率，整体流程较长

难点：基于MLP的神经渲染模型输出分辨率取决于输入的光线采样数量，需要规避这种设计

突破：提出了多模态可泛化平面神经辐射场psPRF，用于联合 3D 重建单视图高分辨率全色图像和低分辨率 RGB 图像对。同时，因为全色锐化是作为 psPRF 框架中 3D 重建的副产品而完成的，锐化结果可以应用于其他任务

优点：

（1）将全色锐化过程转化为神经辐射场本身的图像渲染过程，同时产生高分辨率地形图不需要额外的信息输入

（2）在完成了新视角重建任务的同时，也完成了对源视角的 LR-RGB 进行全色锐化。 psPRF 产生更精细的细节和更稳定的效果

基于均值回归随机微分方程的DSM统一复原框架：

问题：针对每一种特殊的地形单独建模，则需要考虑每一种缺陷本身的形成机制。同时解决多种地形复原问题

难点：地形的不同缺陷模型有着不同的成因，无法用统一的物理模型建模，并且其程度难以分类

突破：针对数字高程模型没有统一修复框架的问题，提出基于均值回归随机微分方程的统一扩散生成框架ET-SDE，能够处理多类问题。在超分辨率任务、空洞填补以及降噪任务上均展现出了超越最新基准模型的性能和泛化能力。

优点：

1）提出了基于均值回归随机微分方程的统一地形修复框架ET-SDE；

2） ET-SDE对于超分辨率，空洞填补和去噪任务上都可以适用；3）更快快的推理速度和更低的计算成本。