Unity Machine Learning Agents Toolkit（简称ML-Agents）东西套能扶助用户正在 Unity 中轻松入门强化进修（RL）。ML-Agents 自己带有多种样例环境和模子架构，可以让用户哄骗现成的环境和架构上手 RL，再经过调解超参数来测试和改善成果模子。所有这些皆毋须新建 Unity 场景或导入资源，且早期没有触及任何编程。
ML-Agents:
本文引见的项目由日本公司 Ghelia Inc. 创建，他们使用了 ML-Agents 的 soccer 锻炼环境来锻炼智能署理踢足球。锻炼出的 RL 模子随后被摆设到了索尼的 toio 机器人上，正在实在天下中踢起了足球。这是一个用 ML-Agent 锻炼机器人、由“假造到实际”的绝佳实例。
我们采访了 Ghelia 的 CEO 兼总裁清水亮，立异和品牌战略办公室的首席程序员布留川英一及立异部司理 Masatoshi Uchida，来相识该项目标灵感。请正在下文中相识公司如何利用 ML-Agents Toolkit 来练习一个实在机器人踢足球，及高尔夫球正在场景中的作用。
叨教是什么启发了你们呢？
Ghelia 是一家专注于强化进修运用的公司。Ghelia 的创始人北野弘明正在索尼任职期间创办了 Robocup Soccer 足球赛，并开辟出了 AIBO 机器人。我们的团队曾建造过一个氛围曲棍球演示，但过于冗杂的部件使其变得不敷轻巧。接着为了向客户们表明强化进修的观点，我们入手下手议论建造另一个便于展现的演示场景。鉴于 ML-Agents 已有了一个足球锻炼环境，我们完整可以用轻巧玲珑的索尼 toio 机器人来开辟一个足球游戏，游戏甚至有也许被病毒式流传。
你们是如何将 ML-Agent 模子移植到真正的机器人上的？
为了将强化进修应用到真正的机器人上，我们须要将机器人自己导入到模仿环境中。幸亏，toio 已有一个称为 toio SDK for Unity 的模仿法式。我们能直接将法式取 ML-Agents 软件包联合利用，马上最先培训。toio SDK 仅包含了机器人模子，而足球须要别的建造。
我们运用了 Unity 的物理引擎正在 摹拟程序中重现了逼真的足球，还正在实际中搜索能精确复原摹拟景象的小球。后果，高尔夫球的活动可精确婚配练习的结果。球的位置正在 Unity 中以 transform 值默示，正在实际里则运用相机举行拍摄、用 OpenCV 举行辨认。
实机运转的硬件设置是？
我们运用一个高尔夫球来代表足球，并将其涂成赤色以进步辨识度。不可名状的是，我们仅用一部 iPhone 就可以完成足球的探测，节制全部八个机器人（这是一场四对四的足球比赛），再运用 ML-Agents 模子开展推导。
你们是若何设置嘉奖的？
刻日，代办署理们皆没有相为谋，只顾自身进球，因而我们试着为小我进球设置了负面嘉奖，但这又招致了守门员没有会去主动防卫球门。而假如为运球设置紧密嘉奖，两队又只会往返运球，没有会紧密射门，基本上就是在拖时间。最终，我们决议把嘉奖设置为进球得一分，被进球则扣一分。
项目中最具挑衅的处所正在那里？
有时实机机械人并不会像模仿的那样举动，其背后缘由有时让人捉摸不透。比方说，假如机械人正在一个略微倾斜的地板上活动时，有时会致使推导失利；别的，假如球的反弹取模仿分歧，机械人还没法做出练习好的反响。而且，机械人对摄像机位置的请求非常严苛，需求到达毫米级的精度，这使得每一次线下活动的镜头调剂非常艰巨。正在每一次大型修改后，模子还需求三天摆布的练习工夫来顺应，我们统共进行了约六次的练习环节来实现现正在的功效。
虚拟机器人在互相碰撞时不会有太大的危害，但真正的机器人相撞可能会激发不测。你们是若何处理这个题目的呢？
正在 ML-Agents 的演示里，智能署理正在进球后会自行回到原位站好，但这一步对真正的机器人而言没这么简朴。问题正在于，仅靠强化进修很难制止 toio 机器人相撞。最初我们试图为制止相撞设立嘉奖，但终极仍是找到了一种机警的解决方法。
关于那些想在项目顶用上机械进修的 Unity 创作者，您有什么倡议？
AI，稀奇是深度进修是让人痴迷，但人们还没有充实明白它。除非亲手尝试过，不然您将没法观赏手艺的美和复杂度，当个三脚猫可不光荣，所以我们鼓舞环球 Unity 开发者亲自上手 AI 手艺。我想稀奇指出机械进修很是风趣，而 Unity ML-Agents 东西能帮您轻松地上手或整合机械进修到项目中。
相关文章
排行榜
最新看点
编辑推荐
