近期，中國科學院合肥物質(zhì)院智能所謝成軍與張潔團隊將 Mamba 模型引入遙感圖像全色銳化領域，提出了一種名為Pan-Mamba的網(wǎng)絡框架。相關研究成果發(fā)表在計算機科學和人工智能領域國際頂尖權(quán)威刊物、中科院1區(qū)Top期刊Information Fusion上。

全色銳化是一項關鍵的遙感圖像處理技術，旨在通過融合低分辨率的多光譜圖像和高分辨率的全色圖像，生成高分辨率的多光譜圖像。近年來，Mamba模型在長程依賴建模方面取得了突破性進展，它能夠以線性復雜度實現(xiàn)對長距離關系的建模，并且在眾多領域展現(xiàn)出的效果與計算復雜度更高的 Transformer 架構(gòu)相近。受此啟發(fā)，研究團隊將 Mamba 模型引入全色銳化領域，期望挖掘其在該領域的潛在價值。

Pan-Mamba的核心創(chuàng)新點在于定制了兩個關鍵組件：通道交換Mamba和跨模態(tài)Mamba。具體而言，通道交換Mamba在網(wǎng)絡的早期階段引入了部分全色和多光譜特征通道的交互，使得模型能夠在早期就捕捉到不同模態(tài)間的相關性，從而提高了信息傳遞的效率?？缒B(tài)Mamba在網(wǎng)絡的后期階段進一步加強了多光譜和全色圖像特征之間的信息融合，通過多層的跨模態(tài)交互，確保了模型能夠充分利用兩種模態(tài)的信息，生成高質(zhì)量的融合圖像。這種設計不僅促進了不同模態(tài)間的信息交流與融合，還保證了模型的計算效率，使其在處理大尺度遙感圖像時仍能保持高性能。

為了驗證Pan-Mamba的有效性，研究團隊進行了廣泛的實驗，涵蓋多種不同的數(shù)據(jù)集，包括WorldView-III、WorldView-II和GaoFen-2等。實驗結(jié)果顯示，Pan-Mamba在全色銳化任務中顯著超越了現(xiàn)有最先進方法，無論是在定量指標還是定性視覺效果上都表現(xiàn)出色。在WorldView-II和WorldView-III數(shù)據(jù)集上，相比次優(yōu)方法在峰值信噪比指標上取得了0.38dB和0.31dB的提升。

目前，Pan-Mamba的源代碼已對外公開，可供相關領域的研究者和開發(fā)者使用，訪問網(wǎng)址為：https://github.com/alexhe101/Pan-Mamba。

碩士生何炫華為論文第一作者，張潔副研究員為論文通訊作者。該項工作得到了安徽省自然科學基金項目的支持。

文章鏈接：https://www.sciencedirect.com/science/article/abs/pii/S1566253524005578

圖 1Pan-Mamba 網(wǎng)絡結(jié)構(gòu)圖

表 1Pan-Mamba模型在不同數(shù)據(jù)集下的實驗結(jié)果

圖 2 不同全色銳化模型在全分辨率WorldView-II數(shù)據(jù)集下可視化結(jié)果比較