任务一:目标工件数据预处理
任务描述:根据任务书要求,利用3D智能相机,采集目标工件的图像,并对图片完成筛选、标注、分类等操作,构建自制数据集。
(一)利用3D智能相机采集图像

(1)选手将物料盒放在3D智能相机视野范围内,并将多个工件放入物料盒,要求每种物料摆放状态下,至少有2个工件的完整外轮廓是可见的。
(2)在每次完成的工件摆放之后,操作相机图像采集软件,拍摄当前物料盒内工件的摆放状态,要求采集30张图片。

任务要求如下:
采集的照片符合(1)的要求,且图片清晰。
(二)图像标注及分类
(1)选手利用图像标注软件,对于每一张采集的图像,沿着其外轮廓用直线段进行拟合,形成单独的、封闭的拟合外轮廓。当工件被部分遮挡,则沿着未遮挡部分的外轮廓进行标注。
(2)为每个封闭的外轮廓分配工件类型;
(3)将标注完成的图片分为3类:20张训练集、5张验证集、5张测试集图片;
任务要求如下:
图片标注清晰、完整,未出现漏标,否则按照未标注工件的数量进行评分。随机对标注的图像集进行分类。
任务二:人工智能模型训练与部署
任务描述:根据任务要求,导入自制数据集,设置模型训练的超参数,执行模型训练。输出训练完成的模型文件,部署至3D智能相机,以可视化的方式输出识别结果。
(一)模型选择、训练及部署
(1)打开深度学习模型训练软件,根据标注的训练数据集存放路径,选手将图片集导入软件的数据输入接口;
(2)设置模型训练的超参数,迭代次数设置为20000次,学习率设置为0.0001等;
(3)将训练完成的模型文件加载至软件中,利用3D智能相机采集物料盒工件图像,输出识别的结果。
任务要求如下:
根据识别结果的精度值进行评分。
完成任务二中(一)后,举手示意裁判进行评判!
(二)手眼标定
(1)将标定板安装在机器人末端法兰上,通过示教盒调整机器人的位姿,保证标定板位于相机视野内,且标定板、相机的距离与工件、相机的距离相近;
(2)操作标定软件,控制机器人以规定的策略运动至多种位姿,且启动相机采集每种位姿下标定板的图像;
(3)标定软件自动运行,计算出手眼标定结果;
任务要求如下:
根据手眼标定的精度值进行评分。
任务三:机器人智能化功能调试
任务描述:根据任务书要求,执行工业机器人与3D智能相机的位置标定任务,根据作业任务要求,对工业器人进行操作、编程,实现基于视觉驱动的机器人自主任务决策和运动规划。
(一)使用图形化编程软件实现机器人基本操控
(1)通过手动示教,控制机器人运动至位姿1(30°,0°,0°,90°,45°,0°),打开安装在编程计算机上的图形化编程软件,记录当前机器人的位姿。然后,控制机器人运动至位姿2(60°,30°,70°,-45°,-45°,60°),利用图形化编程软件记录当前机器人的位姿。最后,利用图形化编程软件编写程序,控制机器人从位姿1运动至位姿2;
(2)利用图形化编程软件编写程序,控制机器人数字量输出接口DO1置0或者置1,实现机器人末端夹具气缸的张开与闭合;
测试要求如下:
机器人完成点到点的运动,以及数字量输出状态的控制。
(二)机器人综合运动
将工件手动放入中转台的定位槽中,利用图形化软件编写程序,控制机器人从位姿1(30°,0°,0°,90°,45°,0°)运动至中转台,夹取工件,并运动至位姿2(60°,30°,70°,-45°,-45°,60°);
任务要求如下:
根据是否抓取成功进行评分。
任务四:综合任务应用及调试
任务描述:根据任务书要求,融合机器人技术和人工智能技术,实现数据的自动传输,结合机器人人工智能技术应用平台,对3D智能相机、机器人进行操作、编程并调试,实现机器人自动执行无序分拣任务。
(一)机器人抓取散乱工件并放置
(1)编写PLC和HMI程序,实现PLC与3D智能相机通信;
(2)点击HMI按钮,启动3D智能相机拍照,识别并输出位姿估计结果;
(3)图形化编程软件编程机器人程序,根据位姿估计的结果,调整位姿,从物料盒中抓取工件;
(4)编写程序,机器人将工件放置于中转台;
任务要求如下:
根据抓取的成功率和放置的准确度进行评判。
(二)机器人自动抓取与入库
(1)根据竞赛平台的设备的实际位置布置,利用图形化编程软件,增加中间过渡点,实现工件的抓取、中转及入库;
(2)重复3次完成工件的抓取、中转及入库流程,分别放置于仓库的1/3/4号仓位;
测试要求如下:
根据抓取的成功率,运动的流畅性、放置的准确度进行评判。