近日，机械工程与机器人学院与自主智能机器人研究院在具身智能与先进制造交叉领域取得重要进展。针对传统自动化产线设备通讯壁垒高、控制逻辑固化以及多机协同困难等行业痛点，我院智能制造团队成功构建了“大模型驱动的新能源汽车水泵柔性智能产线”。
图1新能源汽车水泵柔性智能产线
该项目创新性地提出了一种“宏观语义调度与微观视觉执行解耦”的控制架构。通过采用大语言模型（LLM）作为全局调度中枢，并结合SAM3视觉基础模型（VLM）作为感知节点，实现了对多形态异构机器人的动态任务规划与精准执行，为未来柔性制造系统的搭建提供了一条全新的技术路线。
一、核心技术突破
区别于传统的工业自动化集成方案，本研究重点在算法决策、多机协同与系统架构三个维度实现了关键突破，具体体现在：
1.算法级突破：提出“调度大模型+SAM3”的双脑协同与视觉物理接地机制
当前主流的基于大模型（LLM）的排产任务大多停留在纯文本层面，无法在非结构化的真实物理环境中有效落地。本团队攻克了纯文本大模型的“视觉物理接地（Visual Physical Grounding）”难题。在上层，调度大模型（Scheduling LLM）负责分析复杂任务，生成多机器人的协同过程树，并提炼出如“雨刷电机”、“测试按钮”等语义关键词；在下层，SAM3视觉基础模型（VLM）接收到这些语义关键词后，零样本（Zero-shot）执行高度的三维空间掩码分割与目标定位，从而赋予了系统“语义理解+精准定位”的闭环反馈能力。
2.调控级突破：多形态异构机器人的无人化全局协同
现代复杂生产任务通常需要多种形态的机器人共同参与。本系统攻克了跨平台、跨形态机器人的统一调度难题。产线集成并协调了人形机器人（负责重载搬运）、轮式双臂机器人（负责精细组装）、协作机械臂（负责设备操作）以及复合AGV（负责末端物流）。调度大模型根据这四类机器人的物理边界与硬件属性，建立动态任务分配机制，通过无线网络进行全局实时的任务分发与时序统筹，实现了整个流水线的无缝联动与高效协同。
图2产线深度集成的四类异构作业终端
3.系统级突破：摆脱底层硬件强绑定的非侵入式控制系统
在传统工业环境中，产线升级往往需要对原有设备（如测试仪器、检测机）的底层可编程逻辑控制器（PLC）进行复杂的通信协议打通与硬接线改造。本研究提出了一种“非侵入式”的系统集成架构，利用纯视觉反馈代替底层电信号读取，驱动机器人像人类一样直接识别仪器屏幕状态，并执行物理按键操作（如水泵的气密性、水密性检测）。这一架构有效解耦了机器人调度系统与传统工艺设备底层的硬件绑定，极大地降低了老旧产线的改造成本与部署周期。
图3机器人基于纯视觉引导，完成非标散件的自主提取与精密组装
二、科学价值与社会价值
该新能源汽车水泵柔性智能产线的成功运行，在学术研究与社会效益层面均具有重要意义：
1.在科学价值上，本研究验证了将大语言模型与视觉基础模型（LLM+VLM）相结合在长视野、多约束工业场景下的可落地性。它填补了传统排产模型在“感知执行”层面的空白，为工业多机器人任务分配（MRTA）与调度优化提供了一种融合“数据驱动与视觉反馈”的新型解决方案。
2.在社会价值上，科技的进步旨在增进人类福祉。除了应对制造业劳动力短缺的问题外，该系统精准地将人类从高强度的重体力搬运，以及高噪、闷热的静音房声学测试等恶劣工况中替换出来。以科技向善为导向，实现了高危、有害岗位的无人化替代，切实保障了劳动者的职业健康。
未来，团队将持续深耕多模态大模型与复杂系统控制理论，推动具身智能技术向更广阔的实体经济领域赋能。
【来源】 机械工程与机器人学院、自主智能机器人研究院- 智能制造产线团队
