AICon 2025｜以具身智能破局工程机械智能化，从游戏AI到产业实践的跨越之路
随着生成式 AI 和大模型迈入深水区，技术落地、组织变革与产业重构已成为行业关注的核心议题。8月22-23日，AICon 全球人工智能开发与应用大会·深圳站（2025）成功举办，本次大会汇聚了来自海内外企业的70+专家，围绕Agent应用新范式、智能硬件与具身智能、多模态与空间计算创新、推理性能优化、AI 产品研发与商业化落地等多个热点方向展开分享与探讨，为行业呈现了一场兼具深度与广度的思想盛宴。
大会期间，在核心技术专场，网易伏羲机器人决策算法研究员宁冉受邀出席，带来《具身智能技术在工程机械智能化中的应用实践》的主题分享，详细讲解了网易伏羲从游戏AI技术沉淀到实体产业价值转化的创新路径，为传统工程机械的智能化转型提供了极具启发性的技术思路。
一、从游戏AI到工程机械，网易伏羲的“由虚向实”之路
网易伏羲人工智能实验室最初深耕游戏AI研究与应用，推动产学研深度融合。随着技术能力的不断沉淀，网易伏羲将游戏领域积累的数字孪生、人机交互等技术向工程机械等实体场景迁移，催生了专注工程机械智能化的品牌——网易灵动。
不同于单纯的技术迁移，网易伏羲在工程机械智能化领域的落地始终紧扣行业痛点。一方面，借助游戏领域多年的技术积累，打造“网易有灵人机协作平台”，链接游戏中的虚拟交互与真实世界的物理任务，既解决工程机械领域“人口红利消失、作业效率低下、作业安全风险高”等难题，又突破了当前AI能力成熟度不均、单一技术难以覆盖完整业务场景的限制，实现业务闭环；另一方面，解决具身智能的核心瓶颈——“物理世界数据采集”难题，通过人机协作的模式实现Human-in-the-Loop数据采集，完成数据闭环。
二、从远程操控到智能决策，挖掘机器人的进阶之路
作为工程机械的“掌上明珠”，挖掘机的智能化转型不仅关乎效率提升，更被纳入国家能源战略。国家能源局于2021年印发的《智能化煤矿建设指南》明确要求全面推进采掘设备智能化、生产过程遥控化、管控平台一体化，最终实现“减人、增安、提效”。正是在行业需求与政策导向的双重驱动下，网易伏羲将挖掘机器人作为工程机械智能化的核心切入点。
在技术路径上，团队规划了循序渐进的演进方向：
第一阶段：远程遥控。通过攻克网络延时、传感缺失、感知错位三大难题，搭建智能的远程驾舱；
第二阶段：人机协作。挖掘机器人具备部分AI能力，可执行简单的指令，而高级决策由人工主导；
第三阶段：完全智能。突破场景复杂、鲁棒性不足、安全风险等挑战，实现挖掘机器人的全自主作业。
现场，宁冉分享了网易伏羲在挖掘机器人远控和智能化上的进展。首先是远程遥控，其首要挑战是让远程操作具备“实时性”和“临场感”——前者关乎操作安全，后者影响操作精度。为了确保远程操控精准高效，挖掘机器人采用自研RTC音视频传输技术，在5G环境下端到端延迟可以控制在130ms，局域网端到端延迟在90ms左右。而针对深度信息缺失导致的临场感不足，团队引入AR画面增强与3D实时重建技术，并搭配VR设备实现远程透传，让远程操作员仿佛“亲临现场”。
其次是人机协作，侧重于“高精度控制”与“多维度感知”，操作人员只需一键发送指令，挖掘机器人即可完成自动装车等任务。
在控制层面，团队摒弃传统挖机控制方式，通过学习建立液压控制模型和反馈控制，不仅降低操作上手门槛，更将液压臂自动控制精度提升至5cm，末端负载感知精度控制在150N以内，让挖掘作业更精准、更稳定。
在感知层面，挖掘机器人实现“全方位感知”，包括行人安全检测，作业设备识别，作业面地势高度实时感知，保障作业效率，卡车关键点识别与位姿估计等能力，避免碰撞和误伤。
三、具身智能模型持续进化，技术从实验室走向矿山
当具身智能从实验室走向矿山，大模型的“通用智能”属性正成为破局关键。从RT-1的“图像+指令”驱动机械臂，到PaLM-E的多模态任务理解；从RT-2的“视觉-语言-动作”融合，到π0的“跨本体泛化控制”，再到首个适用于人形机器人全自由度的VLA模型——Helix。具身智能大模型的演进始终围绕一个核心：让机器人真正理解环境、规划任务、执行操作。
在这一演进背景下，网易伏羲认为人形机器人只是具身智能一种理想本体承载形态，但不是唯一形态。现阶段，具身智能技术更适合在非人形机器人场景落地。例如，针对矿山装车这一核心场景，传统框架需要经历“感知、决策、规划、控制”四个模块，存在人为设计限制系统灵活性、模块接口信息损失、各模块缺少全局优化等局限性。
为此，网易伏羲发布全球首个面向工程机械行业的具身智能训练框架“机械智心”，其三阶段的学习融合，突破单一学习模式的局限：
强化学习：在仿真环境反复练习，提高操作精度和操作技巧；
专家数据学习：针对任务轨迹数据进行模仿，学习任务操作动作；
视频数据学习：通过任务视频训练未来帧预测，学习任务相关常识，让模型从“会操作”到“懂操作”。
基于这一框架，网易伏羲打造“灵掘”——全球首个露天矿山装车场景具身智能模型。该模型基于马尔科夫（MDP）模型构建端到端决策架构，模型泛化强、可适配不同卡车位置和作业模式。宁冉介绍，该模型采用视频生成预训练模型+策略扩散模型技术路线，先以作业视频数据预训练，再结合挖机作业师傅示范数据深化训练；在百万级数据支撑下，累计训练100余小时，最终达成当前效果。随着数据量持续增加，模型从一开始不知如何下挖，到学会挖满一斗，进而完成一整套装卸与装车作业。这也是首次在工程机械智能化行业验证了数据规模定律（Data Scaling Laws）的存在，为后续工程机械智能化的发展指明了方向——持续获取更多数据。
“灵掘”还基于示范数据实现料堆整理的手法学习，解决装车作业之外的长尾环节无人化问题，如地面物料、搭建作业平台等，为将来实现全环节100% 自动化作业，奠定了坚实基础。
为了加速矿山智能化的建设，网易伏羲现场介绍了数据集开放计划，包括：
TB级的挖机作业视频数据集，涵盖了不同品牌的挖机、不同光照条件（白天、黑夜）以及不同采集平台的数据。
百万级挖机师傅的作业示范轨迹数据集，其中涵盖激光数据、视觉图像以及挖机的关节角度与速度。
这两大数据集不仅是工程机械领域规模最大的开放数据集，更是具身智能机器人领域内首个垂直领域规模最大的开放数据集。这些数据集已在Hugging Face平台上发布，为行业研究提供宝贵资源。
*数据集开放地址：
https://huggingface.co/datasets/fuxi-robot/excavator-video
https://huggingface.co/datasets/fuxi-robot/excavator-motion
四、智能扎根土地，开启行业人机协作新篇章
从游戏AI到工程机械，从远程遥控到具身智能，网易伏羲的“由虚向实”之路正是AI技术从虚拟世界走向物理世界的生动写照。随着具身智能技术的不断成熟和落地应用，传统工程机械将逐渐具备“自主思考”和“自主决策”的能力，从而在减少人力依赖、提高作业安全性、提升工作效率方面发挥重要作用。
具身智能技术正在让机器从被动执行工具转变为主动协作伙伴，开启人机协作的新篇章。未来，随着技术的进一步发展和应用，我们有望看到更多行业在具身智能的助力下实现智能化升级，为经济社会发展注入新动能。
