（计算机学院/人工智能学院供稿）近日，我校计算机学院（人工智能学院）钟君柳博士团队一篇长文，论文题目为“A Lightweight Multi-domain Multi-attention Progressive Network for Single Image Deraining”被计算机图形学与多媒体顶会2024 ACM Multimedia (ACM MM)录用。电子信息工程21级本科生韩茂堂、李昌盛作为主要作者，广州航海学院为第一单位。
ACM MM是中国计算机学会(CCF) 推荐的A类国际学术会议，且为计算机图形学与多媒体领域的首要会议。ACM MM2024为该会议的第32届会议，将于2024年10月28日至11月1日在澳大利亚墨尔本举行。本届会议共收到 4385 篇有效投稿，其中 1149 篇被录用，录用率为 26.20%。
图1. 2024ACM MM主页展示
论文简介：
题目：A Lightweight Multi-domain Multi-attention Progressive Network for Single Image Deraining
论文概览：
目前，仅在空间域中的信息处理具有内在的局限性，这阻碍了深度网络在单个图像雨纹去除任务中的性能提升。此外，去雨网络的结构和学习过程变得越来越复杂，导致在结构轻量化、训练效率和测试速度方面面临挑战。为此，我们提出了一种轻量级的多域多注意力渐进网络（M2PN），以应对这些挑战。M2PN的骨干网采用了简单且渐进式的基于卷积神经网络（CNN）的结构，该结构由S个相同的递归M2PN模块组成。这种带有跳跃连接机制的递归骨干网络允许更好的梯度流动，并有助于在渐进式结构中有效地捕获从低级到高级/尺度的空间特征，从而改善上下文信息的获取。为了进一步补充所获得的空间信息以更好地进行雨纹去除任务，我们对雨纹的频率能量分布进行了频谱分析，并从理论上阐述了频谱带宽与雨纹独特的降落特性和特殊形态之间的关系。我们提出了频率通道注意（FcA）机制和空间通道注意（ScA）机制，用于更好地融合频率通道特征和空间特征，从而更准确地区分并去除雨滴。M2PN凭借其简单的递归网络结构和高效的多域多注意力机制，实现了卓越的性能，并有助于快速收敛训练。此外，M2PN结构具有较少的网络组件数量、较浅的网络通道和较少的卷积核，只需要168K的网络参数，比现有的最先进（State-of-the-art, SOTA）去雨网络模型的参数低1到2个数量级。实验结果表明，即使使用如此少的网络参数，M2PN仍然可以实现最佳的整体性能。
图2.提出模型的整体框架
钟君柳博士团队长期从事人工智能安全、多媒体信息方向的研究工作。该成果受到广东省高校创新团队项目(2021KCXTD053)资金支持。
