娱乐
当前位置:主页 > 激光焊接机 >

如何使用ML-Agents教机器人踢足球

字号+作者:admin 来源:激光焊接机 2024年04月19日

请正在下文中相识公司如何利用 ML-Agents Toolkit 来练习一个实在机器人踢足球,及高尔夫球正在场景中的作用。正在 ML-Agents 的演示里,智能署理正在进球后会自行回到原位站好,但这一...

Unity Machine Learning Agents Toolkit(简称ML-Agents)东西套能扶助用户正在 Unity 中轻松入门强化进修(RL)。ML-Agents 自己带有多种样例环境和模子架构,可以让用户哄骗现成的环境和架构上手 RL,再经过调解超参数来测试和改善成果模子。所有这些皆毋须新建 Unity 场景或导入资源,且早期没有触及任何编程。

ML-Agents:

本文引见的项目由日本公司 Ghelia Inc. 创建,他们使用了 ML-Agents 的 soccer 锻炼环境来锻炼智能署理踢足球。锻炼出的 RL 模子随后被摆设到了索尼的 toio 机器人上,正在实在天下中踢起了足球。这是一个用 ML-Agent 锻炼机器人、由“假造到实际”的绝佳实例。

我们采访了 Ghelia 的 CEO 兼总裁清水亮,立异和品牌战略办公室的首席程序员布留川英一及立异部司理 Masatoshi Uchida,来相识该项目标灵感。请正在下文中相识公司如何利用 ML-Agents Toolkit 来练习一个实在机器人踢足球,及高尔夫球正在场景中的作用。

叨教是什么启发了你们呢?

Ghelia 是一家专注于强化进修运用的公司。Ghelia 的创始人北野弘明正在索尼任职期间创办了 Robocup Soccer 足球赛,并开辟出了 AIBO 机器人。我们的团队曾建造过一个氛围曲棍球演示,但过于冗杂的部件使其变得不敷轻巧。接着为了向客户们表明强化进修的观点,我们入手下手议论建造另一个便于展现的演示场景。鉴于 ML-Agents 已有了一个足球锻炼环境,我们完整可以用轻巧玲珑的索尼 toio 机器人来开辟一个足球游戏,游戏甚至有也许被病毒式流传。

你们是如何将 ML-Agent 模子移植到真正的机器人上的?

为了将强化进修应用到真正的机器人上,我们须要将机器人自己导入到模仿环境中。幸亏,toio 已有一个称为 toio SDK for Unity 的模仿法式。我们能直接将法式取 ML-Agents 软件包联合利用,马上最先培训。toio SDK 仅包含了机器人模子,而足球须要别的建造。

我们运用了 Unity 的物理引擎正在 摹拟程序中重现了逼真的足球,还正在实际中搜索能精确复原摹拟景象的小球。后果,高尔夫球的活动可精确婚配练习的结果。球的位置正在 Unity 中以 transform 值默示,正在实际里则运用相机举行拍摄、用 OpenCV 举行辨认。

实机运转的硬件设置是?

我们运用一个高尔夫球来代表足球,并将其涂成赤色以进步辨识度。不可名状的是,我们仅用一部 iPhone 就可以完成足球的探测,节制全部八个机器人(这是一场四对四的足球比赛),再运用 ML-Agents 模子开展推导。

你们是若何设置嘉奖的?

刻日,代办署理们皆没有相为谋,只顾自身进球,因而我们试着为小我进球设置了负面嘉奖,但这又招致了守门员没有会去主动防卫球门。而假如为运球设置紧密嘉奖,两队又只会往返运球,没有会紧密射门,基本上就是在拖时间。最终,我们决议把嘉奖设置为进球得一分,被进球则扣一分。

项目中最具挑衅的处所正在那里?

有时实机机械人并不会像模仿的那样举动,其背后缘由有时让人捉摸不透。比方说,假如机械人正在一个略微倾斜的地板上活动时,有时会致使推导失利;别的,假如球的反弹取模仿分歧,机械人还没法做出练习好的反响。而且,机械人对摄像机位置的请求非常严苛,需求到达毫米级的精度,这使得每一次线下活动的镜头调剂非常艰巨。正在每一次大型修改后,模子还需求三天摆布的练习工夫来顺应,我们统共进行了约六次的练习环节来实现现正在的功效。

如何使用ML-Agents教机器人踢足球

虚拟机器人在互相碰撞时不会有太大的危害,但真正的机器人相撞可能会激发不测。你们是若何处理这个题目的呢?

正在 ML-Agents 的演示里,智能署理正在进球后会自行回到原位站好,但这一步对真正的机器人而言没这么简朴。问题正在于,仅靠强化进修很难制止 toio 机器人相撞。最初我们试图为制止相撞设立嘉奖,但终极仍是找到了一种机警的解决方法。

关于那些想在项目顶用上机械进修的 Unity 创作者,您有什么倡议?

AI,稀奇是深度进修是让人痴迷,但人们还没有充实明白它。除非亲手尝试过,不然您将没法观赏手艺的美和复杂度,当个三脚猫可不光荣,所以我们鼓舞环球 Unity 开发者亲自上手 AI 手艺。我想稀奇指出机械进修很是风趣,而 Unity ML-Agents 东西能帮您轻松地上手或整合机械进修到项目中。


参考资料

1.【江苏昊目激光焊接机公司】遵循行业规范,任何转载的稿件都会明确标注作者和来源;2,江苏昊目激光焊接机公司的原创文章,请转载时务必注明文章作者和"来源:江苏昊目激光焊接机公司",不尊重原创的行为【江苏昊目激光焊接机公司】或将追究责任;3.作者投稿可能会经江苏昊目激光焊接机公司编辑修改或补充。

排行榜
编辑推荐
  • 俄称两军用机场遭乌克兰无人

  • 可用来抗击癌症的纳米机器人

  • 市场仍低迷!预计2022年全球

  • 吴江推广安装AI识别系统杜绝

  • 一分钟带你了解语音机器人

  • 司羿智能发布羿生上肢康复机

  • (长三角)智能制造与机器人

  • 消息称大众汽车将开发类似宁