機器之心專欄

機器之心編輯部

喂食、穿衣、擦拭身體…… 機器人掌握了人類看護技能！

【資料圖】

10 月 23 日 - 27 日，機器人頂會 IROS 2022 在日本京都舉行。大會共收到了來自全球 57 個國家和地區的 3579 篇論文投稿，最終接收了 1716 篇，接收率達到了 47.9%。

其中，來自上海交通大學的盧策吾團隊與康奈爾大學、哥倫比亞大學的研究者聯合推出了看護機器人仿真環境 RCareWorld。這項工作獲得 IROS 2022 會議六個最佳論文獎項之一的最佳 RoboCup 論文。

兩篇 Best RoboCup 論文。圖源：Twitter@ctwy

論文地址：https://arxiv.org/pdf/2210.10821.pdf

Github 地址：https://github.com/empriselab/RCareWorld

論文主頁：https://emprise.cs.cornell.edu/rcareworld/

據 WHO 數據顯示，世界上有 1.9 億人具有不同程度的行動限制，且需要看護人員的幫助才能獲得較高的生活質量。目前，世界主要國家逐漸進入不同程度的老齡化社會，對護理人員的需求急劇上升，而相關人才的培養需要長期的投入，因此，設計看護機器人是可能的解決方案。

但是，看護機器人領域的發展面臨著重重困難，比如：

1. 前沿研究者缺少被看護者和看護人員的第一人稱真實需求的研究積累（任務、算法、數據）。

2. 真實機器人本體的開發、部署、運行和維護所需要的開銷也十分高昂。

3. 該領域研究的實驗需要在理解被看護者日常活動需求后，有針對性地進行改造，大大增加研究成本。

因此，一個能高度擬真看護場景的仿真平臺，能大大降低進入該研究領域的門檻，使得該領域的研究更容易展開和學術同行間比較。

和以往用于通用機器人的仿真環境不同，RCareWorld 團隊同時吸取了來自看護場景相關人員，和機器人研究學者的建議，對機器人所需學習的技能、虛擬人建模、活動場景設計、功能性接口等提供了充分的支持。

機器人看護技能

作者在仿真環境中對常見的看護任務進行了基準測試：喂食、穿衣、擦拭身體、四肢重擺、幫助移動、幫助上衛生間等。

此外，作者進行了兩個真實世界實驗：

1. 將擦拭身體這個任務中學到的策略直接遷移到真機實驗中。

2. 真實世界中的社交看護任務：作者用行為樹編程的 NAO 機器人作為教練，通過 VR 界面來指導被看護人員的肢體復健。

完整虛擬人建模：

肌肉骨骼、軟組織、關節活動范圍

肌肉骨骼系統

人體的肌肉骨骼系統，會接收來自神經系統的激活信號，以此決定對肌肉的收縮或舒張，從而帶動骨頭關節的運動。該過程，作者使用 Hill-type 肌肉模型建模，參考來自 OpenSim 數據庫的相關數據，完成肌肉在人體模型的設置。

軟組織

另一方面，當人體關節運動時，會造成表面軟組織形變，作者用基于 XPBD 的仿真技術對這一部分進行了建模。這些軟組織，不僅存在于表面，還存在于口腔。在口腔中，作者對舌頭也進行了建模。如圖，當草莓放到人的口腔中，他的舌頭隨之形變。

關節活動范圍

當人受到一些損傷，如脊椎損傷（C1-C3, C4-C5, C6-C7）、腦癱、半身麻痹、腦中風等，身體關節的活動性會受到極大的影響，運動模式也會發生變化。作者根據來自臨床的數據，建模了人體受到此類損傷后對應的關節活動。

活動場景：無障礙性的三個層次

根據活動場景的無障礙性，給場景分出三個等級：

常規（L1）：此時不需要進行改造。

部分無障礙（L2）：此時部分物體需被移除，使用不便的工具或部件需被替換，如旋轉式的門把手需被替換成按壓式，或門整個替換成滑動門。

完全無障礙（L3）：此時所有活動區域都應是可通過和可到達的，可能要涉及樓梯、過道加寬，上懸櫥柜下拉，臺面下方掏空等改造。

全面的修改方案參考自《通用設計指南》（Universal Design Manual）。根據《通用設計指南》的指導，作者修改了 16 套房子。房子模型選自 Matterport3D 數據集，總共包括 17 個廚房、17 個客廳、59 間臥室、16 個餐廳、70 間浴室、18 個休息室和 41 個其它房間。在房子中合適的區域，都配有病床、病人吊索、輪椅等醫療輔助設備。

功能性接口：模型、傳感、交互接口

根據機器人研究學者的建議，仿真環境應該：

1. 支持控制常見的看護機器人模型：包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。

2. 提供多模態傳感：RGB，深度、LiDAR、關節和末端力傳感、全臂觸覺感知。

3. 具有多種交互控制界面和接口，支持規劃、控制和學習算法，便于開發者使用：Python、ROS、VR。

上海交大推出具身智能平臺 RobotFlow/RFUniverse

RCareWorld 項目基于 RFUniverse 仿真平臺開發。RFUniverse 是由上海交通大學盧策吾教授團隊發起推出的具身智能平臺 RobotFlow 旗下的多物理機器人仿真平臺。該仿真平臺支持包括食物切割、衣服折疊等任務在內的高級機器人操作任務。對剛體、關節體、柔性體、流體等物體類型提供支持。上海交通大學 MVIG 盧策吾團隊，長期研究具身智能，計算機視覺，團隊在《自然》，《自然 . 機器智能》，TPAMI，ICRA，IROS 上發表論文一百多篇，形成 GraspNet（Anygrasp），Aphapose，HAKE 等知名機器人學習，計算機視覺系統。

現已開源：https://github.com/mvig-robotflow/pyrfuniverse

RCareWorld 論文共同第一作者徐文強博士是該系統核心人員。

共同第一作者介紹

葉若琳，上海交通大學電子系本科，康奈爾大學計算機系一年級在讀博士生，師從 Tapomayukh Bhattacharjee 教授。研究方向為人與機器人交互。RCareWorld 的主要工作完成于她在上海交通大學 MVIG 實驗室（導師盧策吾）實習期間。

徐文強，上海交通大學 MVIG 實驗室四年級在讀博士生，師從盧策吾教授。研究方向為具身智能。在實驗室內領導 RobotFlow 項目，其中包括多物理機器人仿真平臺 RFUniverse，該項目是 RCareWorld 的基礎。

RobotFlow 項目：https:/robotflow.ai

RFUniverse 平臺：https://sites.google.com/view/rfuniverse

左：葉若琳；右：徐文強

2022 NeurIPS China Meetup

2022 NeurIPS Meetup China 將設置 Keynote、圓桌論壇、論文分享、 Poster 展示、企業招聘等環節，邀請頂級專家、論文作者與現場參會觀眾共同交流。

舉辦時間：2022 年 11 月 26 日 9:00-18:00

舉辦地點：北京麗都皇冠假日酒店