(通讯员:王昕怡、杨育婷、王丹、张丹、王鑫)近日,2023年国际遥感顶级会议IGARSS竞赛以及计算机视觉顶级会议CVPR部分完结赛事陆续放榜。目前,在bevictor伟德焦李成院士、刘芳教授、屈嵘教授、李玲玲副教授、刘旭副教授与团队博士生杨育婷、黄钟健、孙龙、游超、赵嘉璇、马彦彪等的共同指导下,学院参赛队伍在两项竞赛中斩获四项冠亚军奖项。同时,学院还有6篇论文被2023 CVPR正式公布录用,以及26+篇论文被IGARSS录用。所有获奖队伍与论文作者被邀请于会议上进行报告或者展示。其中,2023 CVPR会议将于加拿大温哥华会议中心召开,2023 IGARSS会议将于美国加利福尼亚州帕萨迪纳会议中心召开。
CVPR竞赛奖项与录用论文
由2022级硕士研究生“张君沛、张柯欣、彭瑞”组成的员工团队获得了CVPR 2023竞赛NTIRE 2023 Stereo Image Super-Resolution Challenge—Track 3 Fidelity & Realistic与NTIRE 2023 Image Super-Resolution (x4)竞赛两项冠军奖项。
冠军队伍(张君沛、张柯欣、彭瑞)
CVPR赛题一:NTIRE 2023 Stereo Image Super-Resolution Challenge-Track 3 Fidelity & Realistic(获冠军奖项)
赛题简介:立体图像超分辨旨在用低分辨率的一对左右视角的立体图像来重建高分辨率的立体图像。与单张图像的超分辨率任务不同,双目超分辨率可以利用场景的两个视角(左视角与右视角)提供的互补信息,从而提升图像恢复质量。竞赛数据为Flickr 1024数据集,该数据集有1024对RGB图像,其中训练、验证和测试数据分别有800、112、112对。该赛题最终采用额外的100张低分辨率立体图像对作为测试集进行测试。该赛题采用由模糊、缩减采样、噪声和压缩组成的逼真退化模型来合成低分辨率图像,评价指标为PSNR和SSIM,PSNR(RGB)用于最终排名。
冠军方案:队伍提出了一种增强立体超分图像恢复细节的集成学习算法LTESSR。该方法可以在立体超分辨率图像恢复过程中进一步补充细节,在不增加太多运行时间的情况下获得更好的图像恢复效果。首先,队伍对图像进行去噪等基础恢复操作,随后使用了CutBlur、Blend和RGB channel shuffling等数据增强方式,提高了模型的鲁棒性。特征提取阶段使用NAFBlock分别提取左右两个视角的单张图像特征,引入立体交叉注意力模块融合两个视角的信息,使用LTE增加补充了超分辨率图像的细节。在测试阶段同时使用数据增强与多模型动态集成方法。队伍提出的LTESSR方案在PSNR(RGB)指标上取得了22.3531的得分,远超基准代码与其他队伍方案得分。该方案突破了多相位视觉信息在训练过程中难以耦合和相互促进的技术难点,解决了左右视觉通道差异性与联系性的平衡问题。
CVPR赛题二:NTIRE 2023 Image Super-Resolution (x4)(获冠军奖项)
赛题简介:该赛题属于图像超分辨率的经典任务,目标是把双立方下采样生成的低分辨率图像恢复成4倍高分辨率图像。赛题使用DIV2K数据集,共包括1000对高分辨率与低分辨率图像,其中训练集800对,验证集100对,测试集100对。赛题允许使用额外数据集训练,评估指标是PSNR和SSIM。
冠军方案:队伍采用SwinIR-LTE为基线模型,同时使用了SwinIR、RDN-LTE、LIIF-EDSR、LIIF-RDN等多个模型。队伍使用了CutBlur、Blend、RGB permute、Mixup、CutMix和CutMixup等6种方法进行数据增强。此外,队伍还提出了融合SSIM中结构纬度计算的SL1loss来替换L1loss,显著提高了SSIM指标的分数。在模型融合阶段,队伍提出了一种逆差异化动态权重融合方法,实现了减小坏值点影响的目的。队伍方案在取得了31.23(PSNR)与0.87(SSIM)的得分,明显优于其他参赛队伍得分。该方案突破了图像多维度综合评价以及模型高效动态融合等技术难点,解决了低分辨率图像恢复中关键细节信息较难恢复问题。
CVPR2023录用论文:
2023年IEEE国际计算机视觉与模式识别会议(CVPR)将于6月18-22日在加拿大温哥华会议中心召开。以下是学院将在会议上展现的最新研究成果:
1. Yanbiao Ma, Licheng Jiao*, Fang Liu,Shuyuan Yang, Xu Liu, Lingling Li.Curvature-Balanced Feature Manifold Learning for Long-Tailed Classification.
2. Zhiwei Yang, Jing Liu*,Zhaoyang Wu, Peng Wu*,Xiaotao Liu.Video Event Restoration Based on Keyframes for Video Anomaly Detection
3. Dong Zhao, Shuang Wang*, Qi Zang, Dou Quan, Xiutiao Ye, Licheng Jiao. Towards Better Stability and Adaptability: Improve Online Self-Training for Model Adaptation in Semantic Segmentation
4. Zhou Yang, Weisheng Dong*, Xin Li, Mengluan Huang, Yulin Sun, Guangming Shi. Vector Quantization with Self-attention for Quality-independent Representation Learning.
5. Zhenxuan Fang, Fangfang Wu*, Weisheng Dong, Xin Li, Jinjian Wu, Guangming Shi. Self-supervised Non-uniform Kernel Estimation with Flow-based Motion Prior for Blind Image Deblurring
6. Yubo Dong, Dahua Gao*, Tian Qiu, Yuyan Li, Minxi Yang, Guangming Shi. Residual Degradation Learning Unfolding Framework with Mixing Priors across Spectral and Spatial for Compressive Spectral Imaging.
IGARSS竞赛奖项与录用论文
2023 IEEE GRSS遥感数据融合大赛使用的数据集为国产多源遥感数据Urban Building Classification (UBC),具备全球化数据场景、精细化建筑类别、多模态遥感数据等特色。数据场景分布于全球6大洲的17个城市,建筑风格丰富多样。依据屋顶结构细分为12种类别、近30万的建筑物实例,同时包含对应的SAR图像数据。
由博士研究生“路小强、杨育婷”与2022级硕士研究生“刘琼”组成的员工团队获得了IEEE GRSS 2023 Track1: Building Detection and Roof Type Classification与IGARSS 2023 Track 2:Multi-Task Learning of Joint Building Extraction and Height Estimation两赛道亚军奖项。
亚军队伍IPIU-XDU (路小强、刘琼、杨育婷)
赛道一:IGARSS 2023 Track1: Building Detection and Roof Type Classification (获亚军奖项)
赛题简介:该赛道旨在从高分辨率光学图像和SAR卫星图像中实现建筑物的实例分割与屋顶细粒度分类,探究光学和SAR数据的融合对建筑物提取效能的影响。
亚军方案:队伍提出一种三阶段训练框架以及一种两阶段测试增强流程。其训练框架由预训练、监督训练和半监督训练组成。首先通过在裁剪出来的目标实例上进行迁移学习,将自然图像中的先验知识适应至本赛题中的遥感建筑物细粒度感知上,选取BEiTv2模型作为特征提取网络。其次,在监督训练阶段引入一种自适应器来增强网络的表征能力,同时提出一种跨模态融合组件来有效利用SAR数据中的信息进行辅助训练,选取HTC++作为检测器网络。在半监督训练阶段中提出全局平均滤波以及类内自适应阈值法对原始伪标签进行去噪,提高了模型的泛化能力。队伍提出的测试增强处理流程在对多种训练模型的初始预测结果进行目标框级的加权融合,得到定位更准确的前景框后,使用检测器的掩码头对最终结果进行分割。该方案突破了细粒度目标识别类内差异显著以及多源信息融合低效等技术难点,实现了跨域场景下建筑物提取的高效性能。
赛道二:IGARSS 2023 Track2:Multi-Task Learning of Joint Building Extraction and Height Estimation(获亚军奖项)
赛题简介:该赛道旨在从高分辨率光学图像和SAR卫星图像中实现建筑物的提取与高度估计,探究多任务联合学习间的特征共享与信息互补机制。真值数据包括建筑物提取信息与nDSMs数字地表高程信息。
亚军方案:队伍提出一种复合结构多任务学习框架以及一种两阶段双分支增强处理流程。所提出的多任务学习框架通过共享具备多模态信息融合能力的骨干网络,为实例分割、语义分割、高度估计任务提供表征能力更强的特征。检测器使用HTC++,语义分割头使用轻量化纯MLP结构,高度估计头使用PixelFormer。队伍通过使用二值掩码为高度估计任务进行背景滤波,增强了对前景建筑物高度的估计能力。测试阶段中,对于建筑物提取任务,队伍使用包含加权框融合技术的两阶段结果融合处理。对于高度估计任务,队伍使用投票后的二值掩码对逐像素高度最大化的估计结果进行背景滤波得到最终的DSM结果。该方案突破了多任务学习中的任务间竞争及共享特征表征能力差等技术瓶颈问题,实现了互助学习下的建筑物提取与高度重构之间的有效融合。
IGARSS2023录用论文:
2023年IEEE地球科学与遥感技术国际研讨会(GRSS)将于7月16-21日在美国加利福尼亚州帕萨迪纳会议中心召开。以下是团队将在会议上展现的最新研究成果:
1. Weibin Li, Shanshan Zhang, Rongfang Wang, Yanhua Hu, Yi Niu. Construction and Recognition Performance Analysis of Dali Water Segmentation Dataset.
2. Weibin Li, Yuhui Kong, Rongfang Wang, ChunleiHuo, Jiawei Chen, Yi Niu. An Automatic Landslide Recognition Method Based on Lightweight Convolution Neural Network and Dual-Attention Mechanism.
3. Dan Zhang, Yuting Yang, Xu Liu, Wenping Ma, Licheng Jiao. Dense Cross-Scale Transformer with Channel Learning for Remote Sensing Scene Classification.
4. Xu Liu, Yu Liu, Licheng Jiao, Lingling Li, Fang Liu, Dan Zhang. Swin Resnet: Swin Transformers for Change Detection in Remote Sensing Images.
5. Tianshu Zhang, Jie Feng, Ziyu Zhou, Xiangrong Zhang, Licheng Jiao. Domain Adversarial Debiased Self-Training for Hyperspectral Image Classification.
6. Xiaoyu Zhu, Jie Li, Jie Feng, Quanpeng Jiang, Xiangrong Zhang and Licheng Jiao. 3D-Mglnet: Moving Vehicle Detection in Satellite Videos with 3D Motion-Guided Lightweight Network.
7. Chongyu Wang, Bo Ren, Biao Hou. Rotpointnet: Keypoint Based Oriented Object Detection for Aerial Image.
8. Bo Liu, Bo Ren, Biao Hou, Yu Gu. Multi-Source Fusion Network for Remote Sensing Image Segmentation with Hierarchical Transformer.
9. Zhao Wang, Bo Ren, Biao Hou, Yu Gu. Incremental Land Cover Classification via Strategies for Edge Removal and Feature Point Aggregation.
10. Xuebo Liu, Yiran Wang, Jing Bai, Haoran Li, Xu Wang. An Imbalanced Signal Modulation Classification and Evaluation Method Based on Synthetic Minority Over-Sampling Technique.
11. Xiushe Zhang, Xinlin Wang, Chunlei Han, Jinming Mu, Shuiping Gou*. Feature Adversarial Network for Multimodal Template Matching.
12. Rongfang Wang, Chenchen Zhang, Jia-Wei Chen. Weibin Li, ChunleiHuo, Yi Niu. A Multi-Branch U-Net for Water Area Segmentation with Multi-Modality Remote Sensing Images.
13. Jia-Wei Chen, Xiaokai Wang, Rongfang Wang, ChunleiHuo, Yi Niu, Caihong Mu. A Lite-Cnn for Landslides Recognition on Remote Sensing Images via Structure Pruning.
14. Rongfang Wang, Chang Li, Jia-Wei Chen, ChunleiHuo, Yi Niu, Changzhe Jiao. A Siamese Network for Semantic Change Detection Based on Multiscale Context Fusion.
15. Jia-Wei Chen, Haojiang Wei, Rongfang Wang, ChunleiHuo, Weibin Li, Yi Niu. Occluded Road Detection on High-Resolution Remote Sensing Images by Dual-Decoded U-Net.
16. Lirong Liu, Changzhe Jiao, Jiaming Li, Chao Chen. Hyperspectral Target Detection via Co-Teaching Multiple Instance Neural Network with Deterministic Annealing Algorithm.
17. Qiaoling Lin, Xiutiao Ye, Ruixuan Wang, Dou Quan, Yanhe Guo, Yu Gu, Shuang Wang. A Transformer-Based Network Using Clip Features and Mask Tokens for Remote Sensing Image Captioning.
18. Rufan Zhou, Dou Quan, ChonghuaLv, Yanhe Guo, Shuang Wang, Yu Gu, Licheng Jiao. Deep Continuous Matching Network for More Robust Multi-Modal Remote Sensing Image Patch Matching.
19. Zhe Wang, Dou Quan, ChonghuaLv, Yanhe Guo, Shuang Wang, Yu Gu, Licheng Jiao. Domain Distribution Alignment for Boosting Multi-Modal Remote Sensing Image Matching.
20. Xianwei Cao, Dou Quan, ChonghuaLv, Yanhe Guo, Shuang Wang, Biao Hou, Licheng Jiao. Relational Image Patch Matching for Remote Sensing.
21. Rui Yang, Di Zhang.A Texture and Saliency Enhanced Image Learning Method for Cross-Modal Remote Sensing Image-Text Retrieval.
22. Yu Liao, Rui Yang, Tao Xie, Hantong Xing, Dou Quan, Shuang Wang, Biao Hou. A Fast and Accurate Method for Remote Sensing Image-Text Retrieval of Based on Large Model Knowledge Distillation.
23. JunyiDuan, Yijing Wang, Xu Tang, and Jingjing Ma. Exchange Data Augmentation for Remote Sensing Image Change Detection.
24. Shiji Pei, Yijing Wang, Jingjing Ma, and Xu Tang. Multi-Scale Interaction Prototypical Network for Few-Shot Remote Sensing Scene Classification.
25. Shunli Tian, Xiangrong Zhang, Guanchun Wang, Xiao Han, Puhua Chen, Xina Cheng. Ctacl: Hyperspectral Image Change Detection Based on Adaptive Contrastive Learning
26. Fanghan Yang, Xiangrong Zhang, Peng Zhu, Zhenhang Weng, Xiao Han, Puhua Chen. Global-Local Representation Coupling Network for Remote Sensing Image Change Detection
bevictor伟德焦李成院士团队在遥感领域有30多年的经验积累,人才培养效果显著。让员工通过学术竞赛快速提升科研能力、加强学术交流是bevictor伟德人才培养的举措之一,“赛中学”能够让员工保持科研的动力,也锻炼了员工的组织能力、团队写作能力与抗压能力等。据统计,近年来,智能学子们屡次在IGARSS、CVPR、ICCV、ECCV等多项国际顶会赛事中斩获冠亚季军奖项达百余项。同时,学院员工也在各顶级权威期刊与会议上发表多篇论文。