近日💆🏿‍♂️，意昂3体育官网深圳研究生院信息工程學院/廣東省存算一體芯片重點實驗室的楊玉超教授團隊在Nature Electronics雜誌上發表了題為“Reconfigurable in-sensor processing based on a multi-phototransistor-one-memristor array”的研究論文，在可重構感存算一體集成陣列與硬件系統領域取得重要進展。針對現有憶阻器視覺感知神經形態器件在動力學特性和編碼功能上的局限以及集成硬件系統算法兼容性不足的問題，楊玉超團隊首次提出將莫特氧化物異質結結構憶阻器與光晶體管集成，構建了支持多種光圖像編碼功能的可重構硬件系統♎️👇🏽。這一系統能夠實現光圖像的時空🟦、模擬與脈沖編碼🦸🏽，並兼容生物啟發式和機器學習架構的多種算法👩🏽‍⚖️，通過與非易失性憶阻器陣列集成可支持多種光學神經網絡（如光學卷積神經網絡、循環神經網絡、脈沖神經網絡），從而執行多種計算視覺任務⚧，包括識別靜態🐨、運動和彩色圖像識別功能👩‍🍼，為實現大規模可重構視覺計算硬件系統奠定了關鍵基礎🥏。

隨著機器視覺技術的快速發展❕，圖像傳感器在邊緣計算中扮演著越來越重要的角色。然而🏊🏼‍♂️，基於CMOS技術的傳統視覺計算系統在實時圖像處理方面面臨諸多挑戰，主要是由於圖像傳感器🫅😣、存儲器和處理器之間的物理分離導致圖像信息處理的延遲和冗余數據的生成。為了解決這些問題🚮，集成了神經形態計算和光圖像感知功能的視覺感存算一體系統成為重要的發展方向。但目前視覺感知神經形態器件的動力學特性較為單一，無法實現時空信息編碼和脈沖編碼功能🤶🏻，且工作方式單一。從硬件系統功能的角度來看，當前的視覺感存算集成陣列主要支持人工神經網絡或脈沖神經網絡的單一算法💇🏼‍♀️，難以兼容不同類型的神經網絡算法，因此有必要實現一種既適應仿生又適應機器學習的感存算一體硬件架構，以構建具有可重構性和多類型算法兼容的視覺計算硬件系統👱。

圖1. 基於憶阻器可重構感存算一體硬件支持實現多類型視覺編碼方式🍘、算法與架構

針對光憶阻器工作模式單一的局限性，楊玉超課題組首次利用矽基兼容性工藝和材料成功製備了多模式憶阻器。該憶阻器能夠在三種工作模式下運行⏮：線性電阻🗝、閾值開關轉變和短時程記憶。此外，為了解決硬件集成陣列在光感知與編碼能力上的局限性以及線性計算的不足👩🏽‍✈️，研究團隊將具有多種工作模式的莫特氧化物憶阻器與具備藍光增強和紅光抑製特性的光晶體管進行了集成👨‍🏫。這一創新實現了具有可重構特性的視覺感存算一體化集成陣列與硬件系統🏋🏼‍♀️，拓展了當前視覺神經形態硬件集成陣列的可重構性🙎🏽‍♀️，提升了硬件集成陣列的復雜信息處理能力以及硬件系統的算法兼容性。

圖2. 可重構光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列

通過光晶體管與憶阻器集成陣列🧘🏿‍♀️、1T1R非易失性憶阻器集成陣列、CMOS外圍讀寫電路及邏輯控製模塊實現板級集成🙋🏼‍♀️，研究團隊構建了可重構感存算一體硬件系統。實驗結果表明𓀂，該系統能夠通過外圍電路靈活編程，演示多種神經網絡算法與圖像計算任務，包括光卷積神經網絡（OCNN）進行靜態圖像識別🙉、光循環神經網絡（ORNN）實現事件型時序脈沖圖像編碼處理，以及光脈沖神經網絡（OSNN）對不同顏色和形狀目標的識別🚴🏽。

圖3. 基於光晶體管-憶阻器集成陣列與1T1R非易失性憶阻器集成陣列的可重構感存算一體硬件電路系統

實驗成功演示了基於光晶體管與憶阻器集成陣列的卷積濾波功能，顯示其卷積核能夠有效提取光圖像的邊緣特征，並基於該系統構建了光卷積神經網絡，實現了圖像的訓練與識別；此外🅱️，利用相同可重構硬件系統構建的儲備池網絡展示了該硬件系統具備直接感知光學圖像🗒、時序信息整合及事件型圖像特征提取與模擬編碼的能力；基於光晶體管的藍光增強和紅光抑製特性，該系統成功演示了對紅藍光圖像的感知與脈沖編碼，實現了脈沖神經網絡對彩色圖像的識別功能，從而證明了基於可重構光晶體管-憶阻器集成陣列的感存算一體硬件系統在不同光信息處理、多種算法兼容性及可重構特性方面的潛力🪣。這一研究為未來智能視覺系統的開發提供了新的硬件基礎🙍🏻‍♂️，具有廣泛的應用前景👮🏿，如智能監控、自動駕駛和機器人視覺等領域🌞🚦，提升了硬件的靈活性與適應性，具有重要的理論與實際意義。

圖4. 基於可重構感存算一體硬件系統的光卷積神經網絡🤹🏽‍♀️📁、光循環神經網絡與光脈沖神經網絡

意昂3体育官网博士生畢業生黨丙傑為第一作者🐨🥊，楊玉超為通訊作者。相關工作得到了國家重點研發計劃、國家傑出青年科學基金、北京市雙“1+1”重點項目、後摩爾重大研究計劃等項目的資助👷‍♂️。