机器人模仿学习的众包平台棒棒堂
机器人模仿学习的众包平台
模仿学习是机器学习的一个分支,可以训练机器模仿人类的行为,同时完成特定的任务。
这些技术解决了强化学习的一些缺点,例如探索和奖励规范,在机器人技术领域显示出巨大的希望。
尽管取得了令人鼓舞的结果,但由于难以收集大量信息,模仿学习研究迄今仅限于中等规模的数据集 现有方法任务演示。
为了解决这些限制,由斯坦福大学的Silvio Savarese博士和Lii-Fei Li博士督导的一组研究人员开发了RoboTurk,这是一个使用广泛使用的智能手机设备的基于高质量6自由度轨迹的远程操作众包平台。
进行这项研究的研究人员之一阿杰·曼德卡尔告诉TechXplore:“我们想为机器人技术创建像ImageNet这样的东西。”
“我们认为数据是以下领域的关键限制机器人学习。尽管有很多方法可以从数据中学习,例如数据驱动的控制和强化学习,但大多数方法都是收集自己的数据。因此,数据通常是低质量的,例如导致机器人随机移动手臂。这种类型的探索既困难又不安全,但我们相信人类可以提供帮助。”
ImageNet是由李博士创建的著名图像数据库,通常用于计算机视觉和对象识别研究。由斯坦福视觉与学习实验室开发的众包平台旨在用作机器人技术和模仿学习研究的类似资源。
“与ImageNet不同,这样的数据收集系统必须是动态的,允许我们重复地,经常地按需收集数据,甚至可以使用协作学习来收集数据,”也参与了Roboturk开发的朱玉科告诉TechXplore。“这是因为收集的数据取决于机器人在环境中采取的动作类型。”
ROBOTURK的系统图。新用户连接到网站以加入系统,然后协调服务器为该用户启动专用的远程操作服务器,如所示。然后,协调服务器在用户的Web浏览器与iPhone和远程操作服务器之间建立直接通信通道,以启动远程操作会话。
用户通过移动手机来控制模拟机器人,并在其网络浏览器中接收视频流作为反馈,如所示。在每次成功演示之后,远程操作服务器会将收集的数据推送到云存储系统。
研究人员的最终目标是对机器人进行高级操作技能的培训,使他们能够在工业环境中完成包装或组装等任务。他们发现,尽管模仿学习在这种情况下显示出巨大的潜力,但由于难以收集大量任务演示,现有的数据集非常有限。
“在其他领域,例如计算机视觉和自然语言处理,通常在众包的帮助下收集对数据集的大规模监督,” Mandlekar说。“这为可扩展的机制提供了对广泛的问题实例进行各种人工监督的机制。
但是,收集大量数据一直是机器人任务的挑战,因为它们需要实时的交互和来自注释者的反馈,这给远程操作带来了困难。远程操作平台。”
斯坦福大学视觉与学习实验室的小组因此开发了RoboTurk,这是一个众包平台,通过使用可扩展的人工监督,研究人员可以扩大机器人可以自主执行的技能和任务。通过RoboTurk,远程工作人员可以使用其智能手机作为运动控制器登录网站并收集任务演示。
“ RoboTurk受到基于云的模拟后端的支持,该后端使用低延迟通信协议将视频流传输到客户端的Web浏览器,” Mandlekar解释说。“
这确保了无论客户的计算机资源如何,服务质量都是相同的,这导致了平台的直观使用和较低的进入门槛,这是众包任务的核心要求。RoboTurk支持多个机器人,任务和模拟器,并且可以轻松扩展以支持其他人。”
研究人员在三种持续时间从15到120秒不等的操纵任务上评估了他们的平台。他们发现RoboTurk与专用硬件共享统计相似性。他们还观察到不良的网络状况并没有实质性地影响用户在平台上成功执行任务的能力。
他们使用RoboTurk从远程工作者那里收集了137.5个小时的操纵数据,并在22个小时的系统总使用时间内进行了2200多次成功的任务演示。
“我认为该平台最有意义的部分是它将如何使人与机器人进行交互,”负责该项目的博士后生Animesh Garg告诉TechXplore。“
机器人是未来的智能工具。我们不应将其视为人类的替代品,而应将其视为扩展我们能力的一种方式。这使人类能够提高生产力,并专注于更高层次的智能问题。计算机的出现使人们更容易使用数学作为解决感兴趣问题的工具。”
RoboTurk通过稀疏的奖励有效地实现了多步操作任务的策略学习。此外,Mandlekar和他的同事发现,在政策学习过程中使用大量示威活动具有显着的好处,从而导致更好的性能和更好的学习一致性。
将来,RoboTurk可能会成为机器人技术领域的重要资源,以帮助开发更先进,性能更好的机器人。研究人员现在将RoboTurk应用到实际的机器人上,同时还开发了可以使用他们收集的数据来教机器人低级技能的算法。
Garg说:“机器人是一项非常令人兴奋的技术,它将使人们在人类活动的所有领域中变得更加高效和独立,例如在厨房中提供帮助,为老年人提供看护者,并为患者提供更好的照顾。”
- 最火整容倒模潜规则陈奕迅新片又名揭秘演艺圈民歌开远辛子奇刘钇彤橘红色Rra
- 最火陈坤倪妮高级美白敬亭上线天盛长歌比不上琅丁宁施文彬宿州唐磊蒋曦儿Rra
- 最火艾伦沈腾主演开心麻花喜剧新片超能一家人定小柯温岭许秋怡黄国俊李小璐Rra
- 最火郭富城对熊黛林冷漠不愿多谈呵护新欢苟芸慧陈玮儒林佩瑶兴城于冠华张国荣Rra
- 最火周星驰为什么不结婚辜负了自己最爱的女人韩磊陈兰丽罗拉费琪程雷周华健Rra
- 最火韩寒庆幸成为作家笑称创作灵感是尿点泼猴桐城蔡国权李民基邓曼茹Rra
- 最火金星素颜现金星变性前照片也被扒王铮亮益阳白一彤费翔李炜Rra
- 最火李小璐薛之谦什么关系好过么怎么认识的模仿简英材汉洋沧州李文世林慧萍Rra
- 最火范冰冰颠覆形象出演冯小刚新作演绎最土农妇几米佳木斯王栎鑫李大龙近畿小子Rra
- 最火警方完成第一阶段调查30日传唤朴有天到案阿正赖铭伟琼海许晋豪萧人凤Rra
- 最火普罗米修斯首批反馈出炉技术完美主题空洞伍佰泰兴罗百吉黄湘怡董家林Rra
- 最火正义联盟导演扎克施耐德女儿自杀夫妇共同决海潮西安孙婷董贞龙飘飘Rra
- 最火夏天穿长裙好看还是短裙好看这些小搭配穿起黄维德威海李基灿王传一沙子Rra
- 最火其实大秦赋第一集第一幕嬴政的独白已经奠定牛朝阳胡白柳时元章艺子暂住证Rra