木牛予智具身智能行业大动作模型（MN-LAM） 将多模态、端到端技术与工业生产实际需求结合，率先实现无人平衡重叉车产品面对窄板及侧翻板运输车的紧贴码放，突破行业性能极限，达到室内外装卸窄板及侧翻板运输车的要求。

那么什么是多模态+端到端？窄板及侧翻板运输车的紧贴码放到底难在哪儿？为什么木牛机器人的多模态+端到端技术能解决紧密码放问题？一篇文章带你详细了解！

多模态+端到端技术

成为具身智能的大脑

多模态+端到端技术指面对是一项复杂的任务，采集输入多种模态形式的数据，由多种规划控制的多种路径组合来实现，不需要人为干预就能找到最优解并且执行好该任务的技术。简单说来，多模态模型+端到端神经网络模型的融合，它的存在很像你感到饿了，大脑会控制你就会去观察周围，寻找食物，并且控制身体去完成进食的过程，因此，可以理解为它是具身智能的“机械脑”。

在多模态+端到端技术之前，传统机器人大体都是基于视觉、雷达或其他传感器获取环境数据，再通过一个个有规则的子模块连接而成，相当于一个个工作车间，对不同传感器收集到的信息进行判断加工，最后输出动作指令。流水线架构的优点是分工明确，如果发现问题，可以分步骤检查解决。但是缺点也很明显：上限很低，在面对复杂任务的时候，会有明显智能程度不够。

以目前机器人开发大多采用的ROS系统为例，它是通讯机制、工具软件包、机器人高层技能以及机器人生态系统集合体，具有灵活复用性高的优势，缺点是每一个运算节点是一个独立进程，系统资源消耗大、 实时性差，仅支持上位机、 无法处理复杂任务。

ROS定义的通讯机制，灵活但是管理复杂，系统资源消耗大

多模态+端到端技术利用任务指令、视觉识别，雷达和各类传感器，在一端汇集不同模态（文本、图像、声音、视频）的数据，另一端直接输出动作指令。去掉了信息在流水线上传递这一过程，误差和延迟都大大减少，因此可以实现跨模态的感知、理解和生成，它打破了单一模态数据的限制，使得AI系统能够更加全面准确的理解人类信息，可以应用于具身智能机器人较好的完成复杂任务。

多模态+神经网络模型

目前主流的具身智能解决方案主要包括以特斯拉Optimus机器人、Physical Intelligence等知名具身智能公司采用的端到端神经网络方案具身智能解决方案和以Figure 01、EVE/NEO和智元机器人远征A1等产品为代表的多模态大模型+神经网络控制模型具身智能解决方案。目前这些机器人多以各类机械臂、灵巧手和人形机器人为主，除部分机械臂外，大多产品处于DEMO阶段，规划的主要应用场景是汽车生产制造、物流等工厂中的简单重复性生产环节。

行业内机器人常见形态

多模态大模型可以更加全面高效的感知环境信息，生成式端到端大模型直接生成一条执行轨迹，最大的优势是决策效率高，可以通过更全面的信息输入不需要人工参与就能完成的决策执行，为解决现实世界复杂问题奠定基础。但是由于缺少实际应用场景，目前的很多机器人产品存在训练数据不够丰富、训练不到位或模型与实际场景需求不匹配等问题，表现为过度拟合训练数据,导致其在新数据上的性能不佳，出现很多莫名其妙的“幻觉”，这也是我们说的多模态加端到端虽然效果上限很高，但是呈现的机器人表现下限很低。市面上可以用于实际生产生活的智能机器人几乎没有。

上限高 下限低 机器人出现“幻觉”导致任务失败

窄板及侧翻板运输车紧密码放场景

多模态+端到端的典型应用

作为黑灯工厂智慧物流的最后一环，原料入库与成品出库始终是全流程智能化中的“最后100米”难题。需要传统叉车抱车工人参与作业，其中窄板及侧翻板运输车装车难度尤为凸显。

窄板及侧翻板的运输车紧密码放装车主要难点体现在：

1叉车本体体积大、自重高导致本体精准控制难度极大：

平衡重叉车车体自重高达十吨，载重五吨以上，运行速度可达4m/s，毫秒级的计算偏差也会产生较大误差；采用抱夹式属具，抱取圆柱体需要先计算纸卷圆心，精准控制抱夹过圆心抓取，此类机器人本体要满足1cm误差的紧密码放，对算法有极高要求。

2窄板车及侧翻板运输车装载面受限，装车精度要求极高：

窄板及侧翻板运输车由于车型狭小，通常宽度不超过2.45米；还要留出侧边翻板闭合的空间，实际有效装车面积通常只有2.35米左右；而出厂的纸卷直径通常在1.2米左右，甚至达到1.25米，长度为13.7米的车辆，常规需要装载18~20垛纸卷，两列并排难度极大，需要通过更科学的交错跺型规划和紧密码放来完成。从而确保纸卷不超出板车边缘位置，不影响翻板关闭，同时不会将对侧或旁边纸卷推走。

窄板车及侧翻板车挡板影响装载空间 需要提前规划交错码放、紧密贴合

3紧密贴合且不损纸的高成功率作业要求难度极大：

在装车过程中既要考虑交错码放，又要考虑紧密贴合。要求叉车机器人将码放精度控制在1cm之内，纸卷刚好贴合旁边纸卷且纸卷间不能有大的压力，否则纸卷放下时会产生货损。目前纯视觉和激光雷达方案均无法做到“刚刚贴上”这个叉车司机才有的微妙手感。

多模态+端到端智能提升

首发抱夹式无人平衡重叉车

性能突破行业极限

木牛机器人创新型采用多模态+端到端模型解决了这个问题。

我们与行业伙伴携手进入真实作业现场，接入多模态+端到端技术，可以通过更全面的摄像头、雷达和传感器采集环境信息，将质量极高的真实数据在一端进行输入，将决策方式从模仿人的动作转换到根据环境与任务要求，对所有规划可能性进行高效分析并完成决策筛选，在另一端形成最优解决方案，完成纯视觉和激光雷达方案无法完成的窄板及侧翻板运输车在室外复杂环境装车任务。这个从照猫画虎的模仿者变成逻辑推理的决策者的转变，可以让机器人达到最佳性能，从效果上做到了下限有兜底，作业更流畅。

木牛予智行业大动作模型MN-LAM全面接入多模态+端到端技术，在此平台上研发的无人平衡重叉车可以实现“高载重、快速度、高精度”同时满足的不可能三角，可以实现载重量高达5吨及以上，行驶速度达到4m/s，码放精度误差不超过1cm。

码放精度再获突破

实现窄板及侧翻板运输车紧贴码放装车

基于领先技术，近期木牛无人平衡重叉车在码放精度上，实现重大技术突破。升级后的新一代无人平衡重叉车在窄板及侧翻板运输车上码放误差不超过1cm，足以满足造纸行业中成品纸卷装车需求，解决智慧物流最后“100米装卸车难题”。在行业内率先做到“无人装车，装完即走”。

无人装车 装完即走

目前，「木牛机器人」已与造纸行业智能制造系统和智能仓储物流系统的龙头企业--中轻长泰（市场份额超过80%）、国家工业互联网应用创新体验中心（纺织行业）-江苏格罗瑞科技等众多领域的智能制造节点型企业深度合作，为行业提供无人平衡重叉车和更多符合生产需求的机器人智能化解决方案。

以无人驾驶平衡重载机器人为基础，木牛机器人将不断探索和突破，为客户提供更智能、更安全、更高效的机器人产品及智能物流解决方案，为中国工业企业高质量发展提供新动力。