苹果布局人形『机器人』️:“自我为中心”感知系统动态避障,比『英伟达』 cuRobo 计算效率提升 26 倍

苹果要搞人形『机器人』️这事儿现在传得沸沸扬扬。

最近他们确实有新动作 —— 开发了一套『机器人』️感知系统!

系统名为 ARMOR,软硬件协同增强『机器人』️的“空间意识”,能动态防碰撞的那种。

今日霍州(www.jrhz.info)©️

硬件方面,ARMOR 通过在『机器人』️手臂上安装小型智能深度传感器,为『机器人』️提供几乎完整的环境视图,解决了传统『机器人』️感知中的盲点和遮挡问题。

今日霍州(www.jrhz.info)©️

软件方面,苹果开发了一个基于 Transformer 的 AI 驱动 ARMOR-Policy,能够从人类动作中学习,帮助『机器人』️动态规划行动。

今日霍州(www.jrhz.info)©️

今日霍州(www.jrhz.info)©️

团队还将 ARMOR 部署在了傅利叶 GR-1 『机器人』️上进行实验。

今日霍州(www.jrhz.info)©️

实验结果显示,与使用四个头戴式和外部安装的深度相机📷️(外心感知)相比,ARMOR 系统使碰撞降低了 63.7%!

与基于采样的运动规划专家系统 cuRobo 相比,ARMOR-Policy 计算效率提升 26 倍,确保『机器人』️能够迅速行动。

看到苹果在人形『机器人』️方面的布局,网友直呼这是大势所趋:

他们不可能永远依赖『智能手机』赚钱。从长远来看,『机器人』️市场将远大于『智能手机』市场。

今日霍州(www.jrhz.info)©️

ARMOR 系统长啥样?

当前,传统人形『机器人』️通常依赖头部或躯干安装的集中式相机📷️和激光雷达进行环境感知,这种方式虽然易于集成且能提供较好的视野范围,但在手臂和手部区域常常存在严重的遮挡问题。

虽然一些研究尝试在『机器人』️终端执行器上集成触觉传感,但这种方案成本高昂,且难以大规模应用于『机器人』️手臂,同时在策略学习中如何有效利用触觉输入仍待解决。

ARMOR 系统,提供了一种硬件和软件整合设计,它由来自卡内基梅隆大学的学者 Daehwa Kim 在苹果实习期间与苹果团队共同开发。

今日霍州(www.jrhz.info)©️

在硬件方面,与集中式 RGBD 相机📷️一次性捕捉密集帧中的全部细节不同,团队选择了 SparkFun VL53L5CX 飞行时间(ToF)激光雷达作为基础传感单元,将稀疏感知分布在多个传感器上,形成“以自我为中心的感知”。

今日霍州(www.jrhz.info)©️

这种传感器体积为 6.4×3.0×1.5mm,可以以 15Hz 的频率提供 8×8 分辨率的深度图像,对角视场为 63°,测距范围达 4000mm。

研究团队在『机器人』️的每个手臂上布置了 20 个这样的传感器,共计 40 个传感器形成分布式感知网络。

每四个传感器连接到一个 XIAO ESP 微控制器,通过 I2C 总线进行数据读取,再通过 USB 传输到『机器人』️的板载计算机(Jetson Xavier NX),最后无线🛜传输到配备 NVIDIA GeForce RTX 4090 GPU 的 Linux 主机进行处理,确保整个系统能够维持 15Hz 的刷新率。

在软件方面,研究团队开发了基于 Transformer 编码器-解码器架构的 ARMOR-Policy,类似于动作分块 Transformer(ACT)。

该策略通过模仿学习从无碰撞的人类运动演示中学习。

为了训练这个策略,研究团队使用了 AMASS 数据集中的 311922 个人类真实运动序列(约 86.6 小时),这些数据包含了各种相关的人类姿态,如操作、舞蹈和社交行为等。

今日霍州(www.jrhz.info)©️

团队将这些人类动作轨迹重定向到『机器人』️的关节配置上,并在轨迹周围生成紧凑的障碍物,确保轨迹本身不发生碰撞。

训练数据的生成采用了三种策略:避障运动、紧急停止和无碰撞运动。

今日霍州(www.jrhz.info)©️

今日霍州(www.jrhz.info)©️

ARMOR-Policy 的网络架构设计考虑到了运动规划可能存在多个有效解的特点。通过引入额外的编码器层来推断潜在变量 z,使策略能够通过调整 z 生成不同的运动轨迹候选。

在推理阶段,系统会并行计算 N 个候选轨迹,并通过最小化『机器人』️与点云之间的距离来选择最优路径。网络输入包括潜在变量 z、当前和目标关节位置(28 维向量),以及 40 个 ToF 激光雷达传感器的深度图像数据。

今日霍州(www.jrhz.info)©️

深度图像通过修改后的单通道 ResNet18 骨干网络处理,提取 512 维特征。整个网络架构包含约 84M 参数。

实验验证显示,ARMOR 系统在多个方面都优于现有方案。

今日霍州(www.jrhz.info)©️

与使用四个头戴式和外部安装的深度相机📷️(外部感知)的传统策略相比,ARMOR 系统在避障性能上取得了显著提升,碰撞降低 63.7%,成功率提升 78.7%。

同时,与基于采样的运动规划专家系统 cuRobo 相比,ARMOR-Policy 表现出更好的性能,碰撞减少 31.6%,成功率提高 16.9%,计算效率更是提升了 26 倍。

今日霍州(www.jrhz.info)©️

研究团队还通过在傅利叶 GR-1 人形『机器人』️上部署 28 个 ToF 激光雷达,实际验证了 ARMOR 系统在真实环境中的应用可行性,系统能够实现 15Hz 的实时避障轨迹更新。

今日霍州(www.jrhz.info)©️

“苹果做『机器人』️几乎是必然的”

最近,关于苹果发力人形『机器人』️的爆料频出。

比如彭博社爆料,苹果正在寻找其“下一个重大项目”,『机器人』️正是其关注的领域之一。苹果工程团队正在开发多种家庭『机器人』️设备以及可能增强家庭『机器人』️实用性的 AI 软件和功能。

而苹果『机器人』️研发活动由硬件工程部门和 John Giannandrea 领导的 AI 与机器学习团队共同进行。

更有爆料指出,苹果将优先打造桌面『机器人』️,它将作为“家庭指挥中心”,可用于 FaceTime 视频通话以及家庭安全监控。

这一系列举动也引发了网友大量讨论。

有网友分析,苹果在人形『机器人』️赛道的布局,几乎是必然的:

苹果人形『机器人』️?这不仅是可能的,几乎是必然的。凭借他们的设计理念和生态系统整合,他们将为个人『机器人』️设定一个高标准。

随着『智能手机』的逐渐淘汰,『机器人』️确实有可能成为下一个普遍存在的技术。想象一下,Siri 体现在一个时尚的人形助手中,这将是一个游戏规则的改变者!

今日霍州(www.jrhz.info)©️

这种分析立马遭到其他网友反驳,揭老底:

苹果之前也吵吵着要做自动驾驶汽车,但最后还是放弃了。虽然苹果有能力开发人形『机器人』️,但会不会真做还是不太清楚。

苹果偏好主导市场,不喜欢面对激烈的竞争,而人形『机器人』️和 AI 市场将极具竞争性。

今日霍州(www.jrhz.info)©️

那么,你看好苹果做人形『机器人』️吗?

论文链接:https://arxiv.org/pdf/2412.00396v1

特别声明:[苹果布局人形『机器人』️:“自我为中心”感知系统动态避障,比『英伟达』 cuRobo 计算效率提升 26 倍] 该文观点仅代表作者本人,今日霍州系信息发布平台,霍州网仅提供信息存储空间服务。

猜你喜欢

OPPO西北首家旗舰店落户西安 科技国潮吸引驻华外交官打卡体验(西安oppo分公司在哪里)

基于OPPO品牌与国产女性♀️向游戏《光与夜之恋》联动的契机,双方在西安赛格国际旗舰店落地全国联动的先导体验专场,并通过一系列特别活动打造一场古典与科技、国风与现代交织的沉浸式开业"盛宴";后续,门店还会定期

OPPO西北首家旗舰店落户西安 科技国潮吸引驻华外交官打卡体验(西安oppo分公司在哪里)

信维通信涨超6% 已与国内外多家卫星终端公司合作(2025年信维通信为什么天天跌)

上证报今日霍州讯(记者 何昕怡)1月22日早盘,信维通信持续攀升,盘中涨超6%。截至10时39分,报77.40元股,上涨5.58%。 消息面上,信维通信1月21日在互动平台表示,公司已与国内外多家卫星终端…

信维通信涨超6% 已与国内外多家卫星终端公司合作(2025年信维通信为什么天天跌)

E8663D模拟信号源keysight E8663D(常见的模拟信号编码方法)

雷达系统组件测试 — 低相位噪声+脉冲调制功能,生成X波段(9GHz)雷达脉冲信号(脉宽1μs),测试雷达发射机的功率放大线性度相位噪声基准源 — 低相位噪声特性,作为相位噪声测试系统的参考源,校准接收…

E8663D模拟信号源keysight E8663D(常见的模拟信号编码方法)

烂泥扶不上墙,星二代混入热播剧,连郭京飞都带不动张可盈(烂泥扶不上墙类似经典语录)

更令人无奈的是,在热播剧《老舅》中,张可盈的演技依旧未见起色,尽管剧集本身充满情怀,讲述了90年代东北普通家庭在时代变迁中的故事,但她的表演让人觉得有些牵强。 张可盈的首选导师是胡彦斌,但他并不看好…

烂泥扶不上墙,星二代混入热播剧,连郭京飞都带不动张可盈(烂泥扶不上墙类似经典语录)

揭秘86版西游记:奔波儿灞与灞波儿奔这两个名字是什么意思?(86版西游记全集介绍)

这些名字中,云里雾里暗含着糊里糊涂的意思,显现出这些小妖的混乱与不清不楚;急如火、快如风则形容他们急躁的性格,似乎总是冲动行事;而兴烘掀与掀烘兴则是在影射红孩儿那似乎永不熄灭的火力,三个音节近似的发音显得又…

揭秘86版西游记:奔波儿灞与灞波儿奔这两个名字是什么意思?(86版西游记全集介绍)