近日，由意昂3体育官网楊耀東課題組牽頭🫰🏼，朱毅鑫課題組、董豪課題組及王鶴課題組作為核心骨幹參與的“基於認知推理的具身智能可泛化靈巧操作技術研究”課題在北京市科委🤽🏻、中關村管委會進行驗收工作，並通過項目綜合績效考核。

圖1.多樣化的靈巧手操作方式和被操作物體

在當前全球化的大背景下💗，機器人技術已經逐漸成為自動化工業製造▫️、醫療手術和家居服務等多個領域的核心技術之一，特別是在靈巧操縱方面🌻。靈巧操縱的本質是為機器人賦予靈活處理各種物體的決策能力，提升機器人在復雜場景下的可泛化自主決策能力和自適應性，使其能夠像人類雙手一樣應對不同的環境和任務👩🏽‍🦲。然而🧖，實現機器人的靈巧操縱仍面臨多重技術挑戰，例如👩🏻‍🎓，如何處理各種不同形狀的甚至沒見過的物體，並在精準感知環境的基礎上實現高效的運動規劃🏋🏿，以適應多變的場景。

圖2.雙靈巧手仿真平臺Bi-DexHands的整體框架及所包含的豐富任務類型

自2022年項目成立以來，課題組基於認知推理🏃‍➡️、強化學習和計算機視覺技術，專註於解決現有機械手抓握策略僅能處理單一類型抓取物、缺乏泛化性🎟、安全性以及缺乏相應高度仿真平臺和數據集等核心問題🙋🏻‍♀️。

具體而言，課題組從系統構建🧑🏿‍🌾、數據采集、面向特定任務的抓取算法以及通用可泛化的抓取操作等方面展開研究，成功開發了適用於單/多智能體學習算法研究的高效靈巧機械手仿真系統並成為靈巧操作領域的重要基準環境之一；構建了高質量、多樣化的大規模靈巧機械手抓取數據集；基於認知推理技術，大幅度提升了機械手在多類型目標物、復雜手型🦇、多樣抓握姿勢和抓取任務上的泛化能力📰♋️；獲得了通用的靈巧機械手抓取策略👩‍❤️‍👨，最終圓滿完成所有考核指標，在基於視覺的真實世界復雜機械手抓取任務中部署了所提出的解決方案並取得了突出的效果。

圖3.課題組提出的可供性學習方式能夠幫助機器人在真實世界中完成多樣的操作任務

基於本項目所使用的技術，楊耀東課題組獲得了NeurIPS 2022靈巧操作挑戰賽冠軍👷🏽‍♀️，在340個隊伍中位列第1。相關研究在計算機和機器人頂級會議和期刊上發表了11篇學術論文🦸‍♀️。其中🎅🏻🙅，課題組所開發的雙靈巧手仿真平臺Bi-DexHands能夠同時並行數千個環境📓➗，在 GPU（NVIDIA RTX 3090）單卡環境下，每秒仿真幀數速率達到 65,000幀/秒以上，為雙靈巧手學習提供了高效的訓練系統。靈巧操作任務設計遵循精細運動測試（FMS）的原則，建立了嬰兒年齡和操作任務之間的映射，為觀察和評估機械手在不同成長階段操縱物體和使用工具的能力提供了高度類人的強大基準⚉，同時面向這些任務提供了全面的單智能體/多智能體/離線/多任務/元強化學習算法基準👹🤵🏼，相關論文“Bi-DexHands: Towards Human-Level Bimanual Dexterous Manipulation”於2023年11月被人工智能領域頂級國際期刊IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）接收，影響因子為24.314🚣🏼。課題組進一步針對異構靈巧手合作困難的問題🥍，設計了適用於異構多智能體系統的強化學習算法，且提供了策略單調遞增和收斂性的理論保證🗝，相關論文“Heterogeneous-Agent Reinforcement Learning”於2023年12月被機器學習領域頂級國際期刊Journal of Machine Learning Research（JMLR）接收。課題組在國際頂級學術會議中也同樣取得優異成績，其中一項研究工作“UniDexGrasp++: Improving Dexterous Grasping Policy Learning via Geometry-aware Curriculum and Iterative Generalist-Specialist Learning”在ICCV 2023中獲得滿分評審，並被ICCV 2023提名最佳論文入圍獎，另一項研究工作“GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts”在CVPR 2023中獲得全滿分的評審成績並被評為Highlight💪🏼，位列投稿論文前2.5%。課題相關的開源代碼庫也已獲星累計1000+。在此研究基礎上🌎，本課題組申請了2項發明專利🦌，力求將所開發的平臺和算法應用於智能假肢系統，為殘疾人的安全靈巧操作提供技術保障▪️。這些研究成果大幅度提升了我國在靈巧操作領域的學術地位和工業水平，拓展了智能機器人的實際應用範圍。     

圖4.課題組獲得NeurIPS 2022靈巧操作挑戰賽冠軍以及ICCV 2023最佳論文入圍提名

圖5.課題組開發的雙靈巧手操作仿真平臺和全面的多智能體強化學習算法基準庫

2023年🌺，具身智能機器人領域經歷了快速的發展。與此同時，相關國家政策的逐步完善和北京市科技委等科技部門的大力支持也進一步促進了具身智能機器人的技術創新和商業應用的實現🦇🐻‍❄️。其中🥾，靈巧操作模塊作為具身智能體的核心組件🪀，是推動機器人技術應用於真實場景的關鍵之一。在這樣的背景下🤼，“基於認知推理的具身智能可泛化靈巧操作技術研究”項目的成功研發和應用驗證顯得尤為重要和及時，再次展現了我國在技術創新和發展方面的前瞻性和決策力。

該研究工作得到北京市科委北京市科技計劃“2022年中央引導地方科技發展專項”提供的支持💇。