近日,中国移动业务应用具身智能领域机器人学习相关论文“Enhancing Robot Learning Through Cognitive Reasoning Trajectory Optimization Under Unknown Dynamics”被机器人和自动化领域国际顶级SCI期刊《IEEE Robotics and Automation Letters》(影响因子5.3)录用。
针对机器人学习中面向复杂接触场景任务的状态-动作空间维度高、学习收敛速度慢、大模型低阶控制能力不足等难题,论文提出一种认知推理轨迹优化方法,将强化学习的交互能力与 LLM 的逻辑推理相结合,并使用 LLM 增强策略搜索使用高质量的认知推理数据对动态模型进行拟合并优化控制,限制策略搜索空间的同时显著提高轨迹优化的效率,仅需20-30 步LLM 轨迹样本即可实现高效学习,在 Panda Shelf 场景中成功率达94.9±11.29%,为具身智能业务应用构建理论基础。
通过推理在较低的控制层级上改进策略搜索过程,策略学习过程拆解为认知推理与未知动力学下的轨迹优化两部分:流程初始阶段借助大语言模型(LLMs)挖掘提取并理解状态 - 动作序列中的深层特征与模式,轨迹优化阶段采用强化学习技术在非结构化环境中的优势,通过试错学习确定最优策略。
所提的方法将大模型的理解能力与强化学习的适应性相融合,从而应对复杂的决策难题,不仅能提升策略性能,还能大幅减少所需的训练数据量,进而提高模型在机器人高效技能习得场景中的可行性与有效性。与现有方法对比,所提方法样本效率高、收敛速度快、部署成本低及跨场景鲁棒性较好。
该研究不仅通过 “LLMs+RL”的融合技术解决了具身智能当前的核心技术痛点,更从 “认知 - 控制协同” “样本效率” “环境鲁棒性” 三方面为具身智能走向真实物理世界提供了可落地的技术路径,是连接 “语言智能” 与 “物理智能” 的关键桥梁,为业务应用向具身智能场景落地构建了理论基础。
《IEEE Robotics and Automation Letters》是IEEE机器人与自动化协会(IEEE Robotics and Automation Society, RAS)推出的机器人领域权威期刊,聚焦于机器人和自动化领域的重要理论发现和应用案例研究。











川公网安备 51190202000048号
投稿交流: