PG电子

斯坦福开源的机器人厨子今天又接手了所有家务
发布时间:2024-02-22 20:54:20

  烹饪几道美食手到拈来,一会儿功夫速成大餐:滑蛋虾仁、蚝油生菜、干贝烧鸡,不知道的还以为是真人厨师做成的:

  备菜环节也是做的有模有样,只见它熟练的拿出一颗生菜切掉根部,然后轻轻的敲打鸡蛋放入碗中:

  打蛋环节还知道要把蛋壳丢到一边,看样子是个讲究的机器人,再也不怕吃煎蛋时意外吃到蛋壳的惊吓了:

  还不忘给蚝油生菜注入灵魂蒜末。这次咱不用菜刀拍蒜,普通的水果刀也能切出蒜泥来,可见刀功了得:

  你以为机器人会做美食就已经是它的极限了,你不知道的是,它打扫起房间来也是一把好手。

  将洗好的衣服进行悬挂,机器人能精准地找到拉链,把拉链扣扣在一起,帮你拉好衣服,然后悬挂起来:

  这款机器人的名字叫 Mobile ALOHA,研究团队来自斯坦福,由三个人共同打造完成。

  其中,Zipeng Fu 为项目共同负责人,他是斯坦福大学 AI 实验室的计算机科学博士生,师从 Chelsea Finn 教授;Tony Z. Zhao 也是斯坦福大学的计算机科学博士生,导师也是 Chelsea Finn。他们三个人共同完成了这项研究。

  根据机器人的材料清单来看,这款机器人的总成本约为 32000 美元,折合人民币约 22 万,软件和硬件全部开源斯坦福开源的机器人厨子今天又接手了所有家务。

  在机器人技术领域,从人类示范中进行的模仿学习已经取得了令人瞩目的成绩。然而,大多数成果都集中在桌面操作上,缺乏完成一般任务的移动性和灵活性。那这位价值 32000 美元(约 22 万元)的私人管家兼「御用」大厨是怎么完成这些灵活且细致的工作的呢?我们一起看看隐藏在它背后的技术细节。

  在这项工作中,研究者开发了一套系统,用于模仿需要全身控制的双臂移动操作任务。用于数据收集的全身远程操纵系统是移动 ALOHA。它通过一个移动底座和一个全身远程操作界面增强了 ALOHA 系统。利用 Mobile ALOHA 收集的数据,该研究进行了有监督的行为克隆,并发现与现有静态 ALOHA 数据集进行联合训练可提高移动操作任务的性能。

  通过对每个任务进行 50 次演示,联合训练可将成功率提高 90%,从而使 Mobile ALOHA 能够自主完成复杂的移动操作任务,例如炒虾、打开双门壁柜存放沉重的烹饪锅、呼叫并进入电梯以及使用厨房水龙头轻轻冲洗用过的平底锅。

  Mobile ALOHA 是一种低成本的移动机械手,可以执行各种家庭任务。Mobile ALOHA 继承了原始 ALOHA 系统的优点,即低成本、灵巧、可维修的双臂远程操作装置,同时将其功能扩展到桌面操作之外。研究者在研究过程中重点考虑了四个关键因素

  3. 全身遥控操作:所有自由度均可同时进行遥控操作,包括双臂和移动底座。

  图 2(左)展示了研究者发现将操作员的腰部与移动底座系在一起的设计是最简单直接的解决方案。

  图 2(中)中的数据表明,机械手相对于地面的垂直高度为 65 厘米至 200 厘米,可伸出底座 100 厘米,可举起 1.5 千克重的物体,并可在 1.5 米高处施加 100 牛的拉力。这样的设计让 Mobile ALOHA 可以完成很多任务,包括实物烹饪、家务管理、人机互动等。

  图 2(右)中列出了 Mobile ALOHA 的更多技术规格。除了现成的机器人外,研究者还开源了所有的软件和硬件部件,并提供了详细的教程,包括三维打印、组装和软件安装。我们可以在项目页面找到这些信息。

  研究者在这项工作中使用联合训练 pipeline,利用现有的静态 ALOHA 数据集来提高移动操作的模仿学习性能,尤其是双臂动作。静态 ALOHA 数据集总共有 825 个示范动作,任务包括密封密封袋、拿起叉子、包装糖果、撕纸巾、打开带盖塑料瓶、玩乒乓球、分发胶带、使用咖啡机、交接铅笔和操作螺丝刀等。

  需要注意的是,静态 ALOHA 数据都是在黑色桌面上收集的,两只手臂固定朝向对方。这种设置与移动 ALOHA 不同,移动 ALOHA 的背景会随着移动底座的变化而变化,两臂平行朝前放置。在联合训练中,研究者没有对静态 ALOHA 数据中的 RGB 观察结果或双臂动作使用任何特殊的数据处理技术。

  研究者选择了 7 个任务,它们涵盖了现实应用中可能出现的各种功能、对象和交互。图 3 举例说明了这些任务,它们分别是擦拭葡萄酒、煮虾、冲洗锅、使用橱柜、呼叫电梯、推椅子和击掌。

  (1)Mobile ALOHA 能否通过协同训练和少量的移动操控数据获得复杂的移动操控技能?

  表 1 为协同训练提高 ACT 的结果。在协同训练的帮助下,机器人擦酒成功率 95%、呼叫电梯成功率 95%、冲洗盘子成功率为 80% 等。

  协同训练提高了机器人在 7 项任务中 5 项的性能提升,分别提高了 45%、20%、80%、95% 和 80%。对于其余两项任务,协同训练和不进行协同训练的成功率相当。该研究发现协同训练对于精确操作是瓶颈的子任务更有帮助,例如按下按钮、翻转虾和打开水龙头。

  在表 2 报告了 Mobile ALOHA 在 2 个现实任务(擦酒和推椅)上的协同训练和无协同训练的成功率。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  “两周前已经被抓了,元旦节还在加班删资料”,数码博主爆料:某厂水军被警方调查!小米Redmi市场总经理回应

  LeCun自曝曾因工资太低拒绝谷歌Offer!如果自己加入,会让谷歌研究文化更开放

  2亿像素4.3X大底潜望式长焦 疑似vivo X100 Pro+参数曝光qxmhjgc.com