由香港大學 (港大) 工程學院電腦科學系及電機電子工程系潘佳教授與彭禕帆教授領導的研究團隊最近成功研發革命性的神經形態曝光控制(NEC)系統,為極端光照變化下的機器視覺帶來突破性進展。這項成果已發表於國際學術期刊《自然·通訊》(Nature Communications)。NEC系統的仿生設計靈感源自人類週邊視覺機制,在動態感知環境中實現了前所未有的反應速度與穩定性。
傳統自動曝光(AE)系統依賴影像回饋迭代調節,這會導致調節滯後的問題,令系統在突發性光照突變的場景(如進出隧道、眩光干擾)表現未如理想。研究團隊創新地將事件相機(一種觸發非同步 「事件」訊號的感測器)結合一併發明的三重事件積分(TEDI)演算法,提出了神經形態曝光控制系統(NEC)。 NEC系統具有卓越的效率,單一CPU即可實現每秒1.3億事件處理能力,更支援邊緣設備部署。
「如同人類瞳孔會瞬間適應光線一樣,NEC系統模擬了視網膜雙通路協同工作機制,」論文第一作者林詩傑先生闡釋道:「透過融合事件流與物理光照計算,我們突破了傳統技術瓶頸,可穩定預測輻照度和更新曝光參數。」
研究團隊在關鍵應用場景中驗證了該系統效能:
- 自動駕駛:車輛進出隧道遭遇強烈眩光時,目標偵測平均精確度平均值(mAP)提升47.3%
- 擴增實境:手術燈環境下的手部追蹤姿態估計準確率(PCK)提升11%
- 三維重建:在曝光過度的環境,且傳統方法失效的情況下,進行持續精確的SLAM建圖
- 醫療AR輔助:在聚光燈不停調校的情況下,仍可保持清晰視像,以進行手術
潘佳教授表示:「這項研究實現了機器視覺領域的重大跨越,把生物學原理與計算效率相結合。NEC系統不僅突破了傳統曝光控制的技術局限,更為把自動適應視覺系統應用於自動駕駛以至醫療機器人等現實場景開闢了新路徑。」
彭禕帆教授指:「跨學科合作大力推動了神經形態工程的發展。透過結合事件感知與仿生算法,我們構建出兼具高速反應與極端環境穩健性的系統,充分彰顯跨學科研究在應對複雜工程挑戰中的獨特價值。」
長遠而言,NEC範式開創了全新以事件作為框架的處理模式,既可減少高解析度事件/影像的處理負荷,也將生物合理性原則融入機器視覺的底層控制。這項突破為相機設計、系統控制及下游演算法提供了全新思路。研究團隊在多種系統中體現神經形態協同效應,實為一項重要的里程碑,不僅為光學、影像及神經形態處理技術鏈帶來啟發,更反映研究具有顯著的產業經濟價值與實際影響。
文章連結:https://www.nature.com/articles/s41467-024-54789-8
關於潘佳教授
潘佳教授是香港大學計算機科學系副教授。他的研究重點是機器人、人工智慧、運動規劃和人機互動。潘教授尤其以開發機器人運動、碰撞檢測和優化演算法以及在自主系統和工業機器人領域的應用而聞名。他在機器人和人工智慧領域的高層會議和頂尖期刊上發表了大量文章,足見其對此等領域的創新貢獻獲得認可。
關於彭禕帆教授
彭禕帆教授是香港大學電機電子工程與計算機科學系的助理教授,並帶領計算成像與混合表示實驗室的研究團隊。他是史丹佛大學的博士後研究學者。他在不列顛哥倫比亞大學獲得電腦科學博士學位,並在浙江大學現代光學儀器國家重點實驗室獲得光學科學與工程碩士和學士學位。彭教授的研究興趣在於光學、圖形、視覺和人工智慧的跨學科領域,尤其是計算光學、成像器、感測器和顯示;全息虛擬現實/擴增實境/ 混合實境;以人為本的視覺和感官系統。
傳媒查詢:
香港大學工程學院
鍾敏芝女士(電話:3910 3324;電郵:chungmc@hku.hk)
袁可盈女士(電話:3917 1924;電郵:natyuen@hku.hk)