顶刊分享RSE：高分辨率域自适应深度网络：多模态跨城市语义感知的有效解决方案

简讯：

中国科学院空天信息创新研究院洪丹枫研究员团队于近期在《Remote Sensing of Environment》（RSE）期刊上发表论文，提出了一个新的多模态遥感基准跨城市语义分割数据集和相关跨城市语义分割方法。

代码和数据集已开源，详见：https://github.com/danfenghong/RSE_Cross-city

1.研究背景

目前，人工智能在单一城市遥感应用中表现出色，但在跨城市或地区的应用中遇到了挑战。为了解决这一问题，该研究构建了一个新的多模态遥感跨城市语义分割数据集，简称C2Seg，涵盖柏林-奥格斯堡和北京-武汉两个跨城市场景。同时，该研究设计了一个高分辨率域自适应网络（HighDAN），利用对抗学习来弥补不同城市环境下遥感图像之间的差异，实现知识有效地迁移，并在很大程度上缓解了类间变化的影响，提高了模型在多城市环境中的泛化能力。该研究为跨城市语义分割任务提供了新的思路和解决方案。

2.研究数据

为了克服多模态遥感数据短缺的困难，推动城市场景理解技术在不同城市间的创新，该研究构建了一个新的多模态遥感基准数据集C2Seg，包括高光谱、多光谱和SAR数据，用于跨城市语义分割的研究。C2Seg数据集包括以下两个跨城市场景。

（1） C2Seg-AB：德国的柏林和奥格斯堡城市，数据采集自尽可能接近的日期的EnMAP、Sentinel-2和Sentinel-1卫星任务，并通过ESA的SNAP工具箱进行预处理。

（2） C2Seg-BW：中国的北京和武汉城市，数据采集自尽可能接近的日期的高分五号、高分六号和高分三号卫星任务，并使用ENVI软件进行预处理。

C2Seg数据集在保持10米的地面分辨率，同时涵盖了三种不同模态的遥感数据。这些数据集包括13个不同的土地利用和覆盖语义类别。这是首次尝试创建专为跨城市多模态遥感语义分割任务而设计的大规模基准数据集。同时，C2Seg数据集已被用于WHISPERS2023会议https://www.ieee-whispers.com/中，详见Challenge 1：Cross-City Multimodal Semantic Segmentation。

图1 C2Seg-AB多模态遥感数据集，用于跨德国柏林和奥格斯堡城市的研究。

图2 C2Seg-BW多模态遥感数据集，用于跨北京和武汉城市的研究。

3.研究方法

研究基于HR-Net网络，结合无监督域自适应技术，提出了一种新的多模态HR-Net主干网络，即HighDAN，用于多模态遥感数据的跨城市语义分割任务。HighDAN架构由特征提取头、高分辨率模块、多分辨率融合、对抗域自适应和分割头组成。

图3 HighDAN在跨城市语义分割任务中的工作流程示意图

其中，对抗域自适应模块利用对抗学习的方式缓解源域和目标域的表示差异，从而更充分挖掘多模态遥感数据中的恒定的语义特征，并实现在不同域之间的特征传递。研究采用两种类型基于对抗学习策略的域自适应模块，以实现在特征尺度和类别尺度源域和目标域的表示的对齐。并通过判别器，得到反映不同域间局部对齐程度的像素尺度置信度分数，进而对中间特征进行重新加权，以在局部修正不同域间的表示偏移，得到对齐后的表示。

图4 HighDAN中使用的对抗域自适应的示意图

4.研究结果

研究选用了DeepLabv3、SegNet、FastFCN、AdaptSeg、DSAN、DualHR、SegFormer等当前最先进的语义分割模型，在跨城市情况下使用多模态遥感数据，并与所提出的HighDAN进行了定性和定量性能比较。在C2Seg数据集上进行的大量实验显示，研究提出的HighDAN在分割性能和泛化能力方面表现出明显的优越性，在几乎所有重要指标上都优于其他最先进的竞争对手。通过对不同模型在C2Seg数据集上的视觉比较，发现HighDAN能够更好地从多模态遥感数据中提取丰富的语义信息，同时在保留遥感图像中物体细节方面具有优势。此外，HighDAN能够有效地捕捉对象的小尺度特征和细节。

图5 在C2Seg-AB数据集上获得的语义分割结果的可视化

图6 在C2Seg-BW数据集上获得的语义分割结果的可视化

图7 在C2Seg数据集上细节区域的语义分割结果可视化

图8 在C2Seg-AB数据集上使用HighDAN可视化类激活映射（CAMs）

5.研究结论

该研究创建了首个跨城市多模态遥感语义分割数据集C2Seg，填补了多模态跨城市语义分割数据集的空白。同时，提出了HighDAN网络，结合对抗学习的域自适应思想，以解决跨城市语义分割的性能瓶颈。在C2Seg数据集上的实验证明，HighDAN在准确性和泛化能力方面优于其他竞争对手。该研究还开放了C2Seg数据集和模型源代码，为跨城市的城市环境解释研究做出了贡献。未来，作者的目标是在国家甚至全球范围内扩展C2Seg数据集，涵盖更多城市，以更好地研究跨城市语义分割。同时，进一步考虑明确且可解释的知识嵌入，以指导深度网络学习更准确的分割结果，并提高模型在不同城市间的泛化能力。

6.作者简介

洪丹枫，中国科学院空天信息创新研究院研究员，博士生导师，遥感与数字地球重点实验室副主任，国家优秀青年基金（海外）获得者，科睿唯安全球高被引科学家。曾为德国宇航中心（DLR）的研究员兼光谱视觉课题组组长、法国傅立叶实验室（GIPSA Lab）客座研究员，德国亥姆霍兹联合会人工智能研究院（HACUI）AI科研顾问。主要研究方向为人工智能、多模态遥感、基础大模型、高光谱成像、大尺度地学应用、智能感知等。研究成果在IEEE TPAMI、RSE、ISPRS、CVPR、NeurIPS、ECCV等顶级期刊/会议180余篇， Google Scholar引用12000+，获得IEEE GRSS 杰出青年奖（Early Career Award）、国际高光谱顶级会议WHISPERS杰出论文奖（Jose Bioucas Dias奖）等，担任IEEE TGRS、Information Fusion、ISPRS JP&RS等国际顶级期刊副主编/编委。

7.文章引用格式

Hong, D., Zhang, B., Li, H., Li, Y., Yao, J., Li, C., ... & Zhu, X. X. (2023). Cross-city matters: A multimodal remote sensing benchmark dataset for cross-city semantic segmentation using high-resolution domain adaptation networks. Remote Sensing of Environment, 299, 113856.

科研圈内人——专注服务中国学术圈

科研圈内人（www.insiderofscience.com）是由海内外学者发起的公益性科研互助平台，助力科研人员从☆ 学术报告☆ 读研求职☆ 海外留学☆ 论文润色☆ 前沿解读等方面实现跨单位、跨国互助。平台精准化连接科研圈的供给与需求， Let Scientists Focus on Science！

若您有相关需求请与我们联系：