作為助力實現“萬物智聯”的核心技術之一，通信與感知融合技術是6G無線通信的一項關鍵技術。然而，現階段主流的通信感知融合技術局限於通信與單一射頻感知的融合（射頻通感一體化），且局限於靜態、低速場景，無法支撐6G典型應用場景的需求。為滿足通信與感知系統極高的性能要求，需要挖掘通信與多模態感知之間存在的潛在關聯，發揮“通”與“感”相互輔助的能力，促進通信與多模態感知的智能融合。

當前，通信與多模態感知智能融合領域雖已存在初步研究工作，但應用範圍局限，缺乏系統框架來統一指導其設計思路與目標。受人類聯覺啟發，意昂3体育官网電子學院程翔教授團隊在全球範圍內首次系統化地建立並論述了通信和多模態感知智能融合的統一框架：機器聯覺（Synesthesia of Machines, SoM），近日在權威綜述性期刊IEEE Communications Surveys & Tutorials發表，旨在推動通信與多模態感知智能融合理論的研究發展並指導該領域的相關研究，助力實現B5G/6G時代的泛在連接和網聯智能。

基於機器聯覺概念，程翔團隊通過定義機器聯覺的三種工作模式，首次系統總結了通信與多模態感知之間相互輔助增強的範式，為通信與多模態感知智能融合領域提供了統一的設計目標與思路（圖1）。其具體包括喚起模式、增強模式與合作模式：喚起模式是指在通信單元不工作的情況下直接增強通信系統的性能；增強模式是指通信單元在獲得基本射頻信息的基礎上，利用多模態感知為通信單元帶來性能增強；合作模式是通過多模態環境數據的融合強化智能體的環境感知能力。考慮多模態感知與通信之間的固有差異並受人類聯覺中腦神經網絡的啟發，程翔團隊指出人工神經網絡是機器聯覺的三種工作模式中的核心工具。與通常采用的數據驅動方式不同，SoM需要以模型增強數據驅動的方式應用人工神經網絡，在分析、研究通信系統和感知系統特定任務的理論基礎上，實現多模態感知與通信之間可信可解釋的智能融合。

圖1：SoM及其三種工作模式示意圖

基於機器聯覺的三種工作模式，程翔團隊分析得出，機器聯覺的研究需要有數據和理論兩方面的研究基礎。數據基礎指的是通信與多模態感知智能融合數據集，理論基礎是指通信與多模態感知聯覺機理（映射關系）。當前，數據基礎仍然缺乏，理論基礎也尚不明確。為此，程翔團隊構建了首個通信與多模態感知智能融合仿真數據集，提供了高準確性與高保真度的通信與多模態感知數據。基於數據集的支撐，程翔團隊探索了多模態感知信息與信道大、小尺度衰落特性間的映射關系，旨在為後續相關研究提供有效指導。

該工作的主要亮點如下：

（1）首次提出通信與多模態感知智能融合的統一框架：SoM強調了多模態感知的作用，拓展了多模態感知與通信相互輔助增強的應用方向，適用於6G時代更具有挑戰性的應用場景。SoM為研究者們提供了對於通信與多模態感知智能融合領域全面、清晰、深入的認知。

（2）首次總結通信與多模態感知相互輔助增強的方式：定義SoM的三個工作模式，首次全面系統地給出了通信與多模態感知之間智能融合的設計目的和方式。

（3）首次分析通信與多模態感知智能融合的研究基礎：分析得出SoM研究需要以通信與多模態感知智能融合數據集作為數據基礎和通信與多模態感知聯覺機理（映射關系）作為理論基礎。

（4）首次綜述該領域研究現狀並給出最新研究成果及思路：該工作首次綜述了當前通信與多模態智能融合領域的相關研究工作。在此基礎上，該工作給出了程翔團隊針對三種工作模式開展的最新的研究結果及設計思路，展現了SoM在優化通信和感知性能上的巨大潛力。基於SoM-喚起模式，程翔團隊首次探索了復雜高速移動場景下多模態感知數據與信道全（大、小）尺度衰落特性的復雜非線性聯覺機理（映射關系）（圖2a）；基於SoM-增強模式，程翔團隊提出以模型增強數據驅動的方式從多模態感知信息中挖掘不同隱式射頻空間特征，設計了一系列高效通信系統傳輸方案（圖2b）；基於SoM-合作模式，程翔團隊創新性地開展了基於任務語義的機器聯覺協同感知工作，進行通信傳輸與環境感知網絡聯合設計，以優化非理想通信下協同感知性能（圖2c）。

圖2：程翔團隊針對SoM的三種工作模式開展的最新研究結果及設計思路

該研究成果以“Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines”為題發表在IEEE Communications Surveys & Tutorials上。該期刊2023年影響因子為35.6，在IEEE旗下所有期刊中排名第一，代表了該領域的學術前沿和未來的發展方向，年發文量僅有80篇。意昂3体育官网為該研究工作的第一完成單位，合作單位包括山東大學、香港科技大學（廣州）、香港科技大學、三星半導體等。程翔為該論文的第一作者以及通訊作者。這項工作得到了國家自然科學基金委傑出青年科學基金、國家重點研發計劃、新基石科學基金會科學探索獎等的支持。