将一个自立机器人布置到一个新的情况能够是一个艰苦的命题。您若何才气确信机器人的感知才能充足壮大，是以可能平安天按计划履行使命？
分拣机器人视觉系统英文Trimble正在起头拟定筹划，将BostonDynamics的Spot布置正在各类室内环境跟施工情况中时，面对着那一应战。Trimble须要将机械学习模子调剂到正确的室内环境，以便Spot可能正在这些分歧的室内环境中自立操纵。
Trimble新兴技巧副总裁AviadAlmagor默示：“当咱们将装备数据收罗传感器跟现场控制软件的Spot布置到室内环境时，咱们须要开辟一个经济高效且靠得住的事情流程去培训基于ML的感知模子。”。
“这一策略的焦点是剖析分解情况的才能。利用NVIDIA上的NVIDIAOmniverseSim，咱们可以从TrimbleSketchUp等CAD对象无缝导入分歧的情况。然后天生完整标识表记标帜的空中真实分解数据便成了一个简略的操练。”
图1正在三维建模应用程序TrimbleSketchUp中检查办公楼
自动分拣机器人批发为了确保模子靠得住天事情，处置机器人技巧跟自动化应用程序的开发人员须要包括方针情况一切资产的各类数据散。关于室内，列表MIGht包罗隔墙、楼梯、门、窗跟家具等资产。
虽然这些数据散可以由真正的摄影师跟人类揭标员手动构建，但这类方式须要大批的预先计划跟下本钱，而且平常正在名目启动时关闭大门。利用分解数据，你可以引诱你的ML培训并立刻起头。
构建此数据集时，可以取舍包括分段数据、深度数据或鸿沟框。这些揭有完美标签的空中本相数据可以翻开许多摸索之门。有些器材，如三维鸿沟框，可以很简单天取得综合，而他们是出了名的难以手动标签。
分拣机器人视觉识别正在本文中，咱们概述了利用模拟天生的分解数据构建培训事情流所采用的步调。只管此事情流包罗庞大的模拟跟ML技巧，但实现此名目所需的步调很简略：
物流智能分拣机器人的缺点将情况从CAD导入NVIDIAOmniverse平台。
利用NVIDIAOmniverseSim卡构建分解数据散。
利用NVIDIATAOtoolkit对ML模子停止培训。
将情况从TrimbleSketchUp导入NVIDIAOmniverse
正在这个名目中，TrimbleSketchUp供给了情况，这是一个用于计划修筑的3D建模应用程序。要导入资源，NVIDIAOmniverse撑持场景描写的USD格局。SketchUp模子转换为USD，并利用Omniverse连接器之一导入。
为确保精确导入一切资产，你必需利用NVIDIAISAACSim卡或Omniverse中的创立或检查应用程序搜检情况。正在某些环境下，此进程能够须要几回迭代，直到情况正在Omniverse中失掉惬意的默示。
图2将SketchUp场景导入Omniverse的进程
图3导入到Omniverse跟Trimble的SketchUp中的原始场景后，统一办公楼的并排视图
利用NVIDIAISAACSim构建分解数据散
分解数据是计算机视觉使用中锻炼ML模子的紧张对象，但网络跟标识表记标帜真实数据能够耗时且本钱昂扬。另外，网络角落案例的真实锻炼数据有时能够很辣手，以至是没有能够的。例如，想象一下，锻炼一辆自动驾驶汽车精确辨认跟反映，以确保穿过忙碌街道的行人的平安。正在交通忙碌的人行横道上摄影是冒失跟危险的。
因为Trimble筹划正在分歧的情况中为分歧的用例布置自立机器人，他们面对着一个锻炼数据难题：若何正在公道的工夫规模内以公道的本钱为这些模子平安天取得精确的锻炼数据散？
NVIDIAISAACSim内置的分解数据天生功用间接办理了那一应战。天生分解数据散的要害要求是为正在布置的ML模子撑持精确的传感器散。如后一示例中所述，NVIDIAISAACSim撑持利用鸿沟框、深度跟宰割衬着图象，这些关于资助机器人感知周围环境皆很紧张。NVIDIAISAACSim借撑持激光雷达跟超声波传感器等其他传感器，正在某些机器人使用中能够会很有用。
图4NVIDIAISAACSim中天生的分解数据，显现RGB、分段跟鸿沟框
天生分解数据的另一个超等才能是范畴随机化。域随机化转变界说模拟场景的参数，例如场景中材质的照明、颜色跟纹理。其次要方针之一是经由过程正在仿真中将神经网络裸露于各类域参数去加强ML模子的锻炼。那有助于模子正在遇到真实场景时很好天归纳综合。实际上，这类技巧有助于让模子晓得该当疏忽甚么。
快递分拣机器人缺点NVIDIAISAACSim中的可随机化参数：
Color
Movement
Scale
Light
Texture
Material
Mesh
Visibility
Rotation
图5NVIDIAISAACSim中的域随机化场景
利用NVIDIATAO工具包培训ML模子
图6显现了预锻炼模子跟专有数据作为输入，定制模子作为输出。
图6TAO工具包的功用框图
图7显现，模拟器可以从ROS跟Python两方面停止节制。模拟器的输出包罗数字孪生跟分解数据，可用于锻炼感知模子。
图7NVIDIA上NVIDIAOmniverseSim的功用框图
天生数据集后，将其精确格式化以利用NVIDIATAO工具包，可以大大减少培训模子的工夫跟用度，同时确保模子的准确性跟机能。该工具包撑持宰割、分类跟工具检测模子。
NVIDIAISAACSim中综合天生的数据集以KITTI格局输出，以便与TAO工具包无缝利用。有关正在NVIDIAISAACSim卡中输出数据以停止培训的更多信息，请参阅利用TLT停止离线培训。
与真实数据比拟，利用分解数据集时，能够须要迭代数据集以取得更好的成果。图8显现了利用分解数据散停止锻炼的迭代进程。
图8迭代锻炼以进步模子机能
归纳综合
Trimble面对着一个十分遍及的应战，即正在一个经济高效的事情流程中为自立机器人的ML模子获得锻炼数据。这一应战的解决方案是应用NVIDIAOmniverse中连接器的功用，将CAD数据高效导入USD。然后，数据可以被带入NVIDIAISAACSim卡。
正在模拟器中，ISAACSim壮大的分解数据功用使天生所需数据散变得简略。你可以供给分解数据，以实现更高效的培训事情流跟更平安的自立机器人操纵。
NylaWorker是NVIDIA的解决方案架构师，专注于嵌入式设备的模拟跟深化学习。她正在机器人跟自动车辆的深度学习边缘使用方面拥有丰硕的履历，并为嵌入式设备开辟了加速推理管道。
GerardAndrews是专注于机器人开辟社区的高等产物营销司理。正在参加NVIDIA之前，Gerard正在Cadence担负产物营销总监，担任答应处理器IP的产物计划、营销跟营业开辟。他拥有佐治亚理工学院电子工程硕士学位跟北方卫理公会大学电子工程学士学位。
审核
北京分拣机器人操作说明快递分拣机器人会普及吗分拣机器人厂家地址
相关文章
排行榜
最新看点
编辑推荐
