编者按:
刚刚结束的2025中国缝制机械行业大会上,特邀杰克股份轮值总裁胡文海、山东大学机械工程学院胡天亮教授两位专家,围绕“拥抱人工智能,创新缝制未来”的主题,进行了精彩的专题演讲,对行业未来抢抓机遇、拥抱人工智能提供了建设性意见。协会融媒体平台将两位专家的观点整理刊出,供行业企业参考借鉴。
人和机器作为制造系统的两个重要主题,如何能够实现互相的充分理解,并进行深度的共融协作,目前是业界关注的一个热点。从制造业人机融合的实施过程来看,主要存在三个瓶颈问题:
一、人机协同感知问题:人机系统要素的状态复杂多变,传感系统覆盖困难、传感数据获取和融合困难,导致难以准确完备地感知协作意图;
二、人机协同决策问题:人机协作过程中,协作任务多样、协作方法多样、协作流程多样,导致难以精准高效地制定任务策略;
三、人机协同执行问题:人机协作策略执行过程中,控制对象复杂、控制模型复杂、时变扰动复杂,导致难以实时有效地执行协作决策。
要突破上述瓶颈,就需要信息和物理更深度的融合。从工程需求角度来看,要实现三个层面:
一、明确表达物理世界是什么。需建立人-机协作机理模型,考虑功能需求痛点,使其具备真实、完整、动态时变更新能力;
二、准确洞悉物理世界发生了什么。需构建智能感知系统,实现人员、产品、装备的多元、多维状态数据有效采集、秩序化处理和隐性信息挖掘;
三、对物理世界进行优化、决策和控制。需设计智能算法,依据机理模型和智能感知数据,实现人-机融合决策和执行控制。
数字孪生技术构建了物理空间与信息空间的数据交互闭环通道,实现了物理世界和数字世界、数字世界和数字世界的链接;最终实现信息物理的交互融合。从技术优势层面分析,数字孪生技术在零部件、设备、人员及产线层级的应用已取得显著进展,通过对特定主体或流程的精准建模与优化,在设计、运行、维护等各方面均取得了良好的应用成效。这为人机协作制造中不同参与主体个体潜能的充分挖掘提供了有效支持。
然而,数字孪生技术面向人机协作的整体场景时,系统中不同孪生体之间的动态交互与协作决策机制目前研究不足。这从根本上阻碍了参与主体之间“相互理解”能力的达成,制约了人机协作制造系统向智能融合的高阶发展。
为解决此问题,本人团队构建了一套人机共融的数字孪生系统架构,包括协作应用交互中心(CAIC)和人员、机器人、固定设备四种数字孪生体,从而支撑人机深度融合。
其中,协作交互中心通过综合利用人员孪生体(HDT)、机器人孪生体(RDT)、固定设备孪生体(EDT)的实时状态,结合产品孪生体(PDT)的生产状态,生成面向全局的协作决策指令,指导物理空间人机协作制造系统的协作运行。
人员孪生体(HDT),通过应用层与人员、协作应用交互中心、产品孪生体建立交互通道。在人机协作过程中,HDT可保持相对独立运行,实时监测人员生理、心理等状态。同时,CAIC通过协作运行接口调用HDT的模型。任务执行过程中,人员任务执行信息,通过孪生体间接口实时反馈至PDT,驱动PDT演变和动态更新。
机器人孪生体(RDT),通过应用层与机器人、协作应用交互中心、产品孪生体建立交互通道。在人机协作程中,RDT可保持独立应用,实时监测机器人健康状态。同时,响应CAIC调用请求,通过协作运行接口提供模型支持。任务执行过程中,机器人任务执行信息,通过孪生体间接口实时反馈至PDT,驱动PDT构建和动态更新。
固定设备孪生体(EDT),通过应用层与设备、协作应用交互中心、产品孪生体建立交互通道。在人机协作过程中,EDT可保持独立应用,监测系统健康状态。同时,CAIC通过协作运行接口调用EDT的模型,将固定设备资源动态信息,通过孪生体间接口实时反馈至PDT,进而支持产品状态更新。
产品孪生体(PDT),通过应用层与人员孪生体、机器人孪生体和设备孪生体以及协作应用交互中心建立交互通道。在人机协作过程中,协作孪生体(HDT/RDT/EDT)的实时生产执行数据为PDT提供动态数据输入。同时,CAIC通过协作运行接口,调用PDT的数据、机理和应用模型,为协作决策指令生成提供模型支撑。
协同应用交互中心-CAIC,针对人机协作制造的人机融合需求和数字孪生理念的虚实交互需求,配置CAIC。该中心包括两大模块,通信模块和协作应用模块。应用交互中心作为核心调度单元,通过“任务解析→指令生成→虚拟验证→下发执行→闭环反馈”多级指令流转机制,实现人机协作任务的动态优化与精准协同。
依据以上设计,本团队设计了数字孪生赋能的人机融合精密装配系统。以RV减速机装配为例,通过搭建人员、机器人、料仓的数字孪生体和协同应用交互中心,实现了机器人对人装配过程意图的理解和预测,并实时与人进行实时装配协作,可大大减轻装配人员的工作负担。在系统实施过程中,为实现数字孪生赋能的人机融合协作感知和决策,本团队构建了一套多模态人员装配动作数据集(HAAD-SDU),包含人员装配信息的RGB视频和惯性传感数据(含加速度、角速度和欧拉角等时序同步信息)用以实现人员操作意图感知的训练。基于所构建的HAAD-SDU数据集,提出了面向人机协作制造的多传感器融合人员意图识别方法,探索了两种融合策略:决策级融合和特征级融合,实现准确识别操作人员的装配意图,准确率超过94%,为人机协作制造场景下多模态人员意图识别研究提供了数据支持。非商业用途的研究人员可免费获取以上数据集。
我们团队在数字孪生领域以进行了多年的实践,并取得了丰硕的成果。我们近期在数字孪生赋能人机共融方面研究的进展,也让我更加有信心实现我们的一个美好愿景,即推动机械装备从“指令的执行者”到“默契的协作者”的本质进化。