近期，我院王倩老师和陈昭老师提出基于小波卷积网络的多模态高维图像融合框架，适用于显微、遥感、自然图像等多种图像，显著提升图像的空谱分辨率，发表多篇SCI期刊论文和权威会议论文。主要成果如下：
该工作针对多模态光谱图像提出一种新型的融合/分辨率增强网络：小波卷积网络。为了全面反映观测对象的特性，人们经常对同一目标进行多分辨率成像，由此产生成对的多模态光谱图像，其中包括多光谱图像和高光谱图像，二者均可视为高维数据。然而，受限于硬件条件，光谱分辨率和空间分辨率相互制约，高光谱图像的空间分辨率往往低于多光谱图像。多分辨率融合可以合成兼具高空间分辨率和高光谱分辨率的图像，但保持图像空间结构、减小光谱失真是融合工作的难题。为解决以上问题，该工作利用小波分析对高频细节信息的表达能力，将小波分析和卷积网络深入混合，构建新型小波卷积网络，嵌入跨模态特征对齐和选择性特征融合的注意力机制，保留必要的高频细节信息和低频平滑特征，避免过度锐化导致的空谱畸变，有效融合多模态高维光谱图像，合成高质量的高光谱高分图像，以备分类、分割等下游任务所用。本工作使用的多模态高维图像及基于小波卷积网络的融合框架如下图所示。该工作发表在SCI一区期刊Expert Systems with Applications，标题为Parallel Wavelet Networks Incorporating Modality Adaptation for Hyperspectral Image Super-Resolution，一作为王倩老师，通讯作者为陈昭老师。
一种多模态高维图像——对同一目标成像的多光谱图像与高光谱图像
基于小波卷积网络的多模态高维图像融合框架
2. 基于小波卷积网络的显微高光谱病理图像增强
该工作为小波卷积融合网络提供一个医学应用范例：显微高光谱病理图像增强。所得到的高空间分辨率和高光谱分辨率显微病理图像，能够更好地反应细胞和组织细节特征，为肿瘤识别与预后提供数据支持。基于小波卷积网络的显微高光谱病理图像增强框架如下图所示。此工作发表在生物医学图像处理权威会议ECCV 2022 Workshop: CDPath，标题为A Deep Wavelet Network for High-Resolution Microscopy Hyperspectral Image Reconstruction，一作为王倩老师，通讯作者为陈昭老师。
基于小波卷积网络的显微高光谱病理图像增强框架
技术创新点：
1.揭示小波分析和卷积网络之间的数学联系
2.构建适用于各尺度多模态图像的小波卷积融合网络
应用领域：多模态图像融合，高维图像分析
联系人：王倩 陈昭
联系方式：wangqian@dhu.edu.cn,chenzhao@dhu.edu.cn