ZED X Nano近距离双目相机|机械臂抓取与具身智能应用

发布时间:2026-09-15 15:42:11     浏览:7

ZED X Nano近距离双目相机|机械臂抓取与具身智能应用

Stereolabs ZED X Nano是一款专门面向近距离机器人操作的紧凑型双目深度相机。它采用18mm立体基线,理想深度范围为5~150cm,最大深度范围为3~200cm,适合安装在机械臂腕部、夹爪、末端执行器或机器人灵巧手附近。

与主要用于AMR导航和中远距离环境感知的双目相机不同,ZED X Nano更关注机器人“手边”的空间信息,例如目标位置、物体轮廓、抓取距离、放置区域和末端执行器周围的障碍物。

对于具身智能系统,ZED X Nano可以提供同步双目图像、深度图、三维点云和视觉惯性数据,为目标识别、抓取姿态计算、运动规划和机器人训练数据采集提供视觉输入。

ZED X Nano近距离双目相机

ZED X Nano主要参数

参数ZED X Nano
产品类型GMSL2双目立体深度相机
图像传感器双2.3MP彩色全局快门传感器
最大分辨率1920×1200
帧率1200p最高60fps;600p最高120fps
立体基线18mm
理想深度范围0.05~1.5m
最大深度范围0.03~2m
视场角92°水平×65°垂直×102°对角
深度技术Neural Stereo Depth Sensing
IMU16位加速度计和陀螺仪,最高200Hz
接口GMSL2,FAKRA Z型连接器
供电通过GMSL2同轴线PoC供电
尺寸42.0×30.5×33.8mm
重量约75g
工作温度0℃~+50℃
兼容平台NVIDIA Jetson AGX Orin、Orin NX及兼容平台
主要应用腕部视觉、机械臂抓取、灵巧手、具身智能、数据采集

为什么ZED X Nano适合机械臂抓取

18mm短基线适合近距离操作

双目相机通过左右相机之间的视差计算深度。立体基线越短,通常越容易覆盖靠近相机的物体;基线较长的相机则更适合中远距离测量。

ZED X Nano采用18mm基线,明显短于50mm基线的ZED X Mini和120mm基线的ZED X。这使它更适合观察距离末端执行器几厘米至1米左右的物体。

在机械臂抓取过程中,相机可以随着腕部移动并持续观察目标,减少固定相机容易出现的遮挡问题。

紧凑尺寸降低末端负载

ZED X Nano尺寸约为42.0×30.5×33.8mm,重量约75g,可以安装在机器人腕部、夹爪上方或灵巧手附近。

较小的体积和重量有助于减少相机对机械臂末端负载、惯量和运动范围的影响,尤其适合小型协作机器人、桌面机械臂和人形机器人手臂。

实际安装时仍需考虑支架、FAKRA连接线和线缆弯曲半径,避免线缆在机械臂反复运动过程中拉扯相机或限制关节运动。

全局快门减少运动图像变形

ZED X Nano采用双2.3MP全局快门传感器。全局快门能够同时曝光整幅图像,在机械臂快速移动、夹爪动作或传送带物体运动时,可以减少滚动快门常见的倾斜、拉伸和局部变形。

相机在1920×1200分辨率下最高支持60fps,在960×600分辨率下最高支持120fps。高分辨率模式适合观察较小目标和细节,高帧率模式更适合高速抓取和动态物体跟踪。

ZED X Nano如何用于机械臂抓取

ZED X Nano本身负责采集双目图像并生成深度信息,完整的机器人抓取系统通常还需要目标识别、坐标转换、抓取姿态计算和机械臂控制等模块。

典型处理流程如下:

  1. ZED X Nano采集同步左右图像;

  2. ZED SDK计算深度图和三维点云;

  3. YOLO、PyTorch或其他视觉模型识别目标;

  4. 根据目标区域提取三维坐标和空间轮廓;

  5. 结合手眼标定,将相机坐标转换为机器人坐标;

  6. 抓取算法计算夹爪位置、方向和接近路径;

  7. 机器人控制器执行抓取、搬运或放置动作;

  8. 相机继续检测目标和末端执行器状态。

ZED X Nano可以提供RGB图像、深度和点云,但它不是一套独立的机器人抓取控制系统。项目仍需根据物体形状、夹爪类型和任务要求开发识别、姿态估计及运动规划程序。

机械臂腕部视觉应用

将ZED X Nano安装在机械臂末端属于“眼在手上”或Eye-in-Hand视觉结构。相机跟随机械臂运动,可以从不同方向接近目标并获取局部三维信息。

该结构适合以下任务:

  • Pick-and-Place取放;

  • 料箱拣选和无序抓取;

  • 小型零件定位;

  • 插接、装配和对孔;

  • 工件上下料;

  • 传送带动态抓取;

  • 物体分类和分拣;

  • 近距离质量检测;

  • 夹爪周围障碍物感知。

对于较深的料箱或容易相互遮挡的物体,腕部相机可以通过改变观察角度获取更多信息。不过,相机距离夹爪较近时,也需要避免夹爪、手指和线缆遮挡双目视野。

人形机器人与灵巧手应用

具身智能机器人需要通过视觉理解环境,并将视觉信息转换为抓取、移动和操作动作。ZED X Nano适合安装在人形机器人的腕部、前臂或灵巧手附近,为精细操作提供近距离三维信息。

典型应用包括:

  • 识别桌面物体的位置和高度;

  • 判断手部与目标之间的距离;

  • 控制手指接近和包围目标;

  • 完成开门、拿杯子、取工具等操作;

  • 记录机器人手部运动过程;

  • 采集视觉与动作对应的训练数据;

  • 支持遥操作和模仿学习;

  • 验证具身智能策略的实际执行效果。

对于需要同时获得全局环境和手部局部信息的机器人,可以在头部或躯干安装ZED X、ZED X One等相机负责环境感知,再在腕部安装ZED X Nano负责近距离操作。

Physical AI数据采集与模仿学习

Physical AI和具身智能模型需要大量包含图像、深度、机器人状态和动作信息的数据。ZED X Nano能够在机器人操作过程中提供同步双目图像、深度信息和IMU数据,可用于建立视觉与动作之间的训练样本。

在模仿学习或遥操作数据采集系统中,可以记录:

  • 左右相机原始图像;

  • RGB图像和深度图;

  • 三维点云;

  • 相机姿态和IMU数据;

  • 机器人关节状态;

  • 夹爪开合状态;

  • 操作者或策略输出的动作;

  • 抓取成功与失败结果。

这些数据可以用于训练目标识别、抓取策略、视觉运动控制和端到端机器人操作模型。

GMSL2接口与计算平台

ZED X Nano采用GMSL2接口和FAKRA Z型锁定连接器,通过同轴线缆传输图像、控制信号并为相机供电。

需要特别注意:ZED X Nano不是USB相机,不能直接连接普通电脑的USB接口。实际部署通常需要搭配:

  • ZED Box Mini边缘AI计算机

  • ZED Box系列计算平台;

  • ZED Link GMSL2采集卡;

  • NVIDIA Jetson AGX Orin或Orin NX;

  • 对应的GMSL2连接线;

  • 匹配JetPack版本的驱动和ZED SDK。

ZED SDK可与ROS 2、NVIDIA Isaac ROS、Isaac Sim、OpenCV、PyTorch和YOLO等开发环境配合,用于深度计算、点云处理、位置跟踪、目标检测和机器人系统集成。

部署时需要注意的问题

手眼标定

腕部相机输出的是相机坐标系下的三维位置。要让机械臂准确移动到目标位置,需要完成相机与机器人末端之间的手眼标定。

支架发生移动、相机重新安装或机械结构出现松动后,应重新检查标定精度。

物体表面与光照

双目深度依赖左右图像之间的特征匹配。透明、强反光、纯黑、纹理过少或重复纹理明显的物体可能降低深度质量。

项目测试时应尽量使用实际工件、真实光照和最终安装位置进行验证,必要时增加漫反射照明、调整观察角度或结合其他传感器。

遮挡和安装位置

相机安装位置过低时,夹爪可能遮挡目标;安装位置过高时,近距离物体可能超出理想深度范围。设计支架时需要同时考虑相机视场、夹爪行程和目标尺寸。

防护等级

ZED X Nano主要面向室内机器人和近距离操作,没有ZED X Mini及ZED X所具备的IP67防护等级。

如果应用环境存在大量粉尘、水汽、雨水或户外暴露,应评估增加防护外壳,或者改用具备IP67防护的ZED X Mini。

ZED X Nano适合哪些项目

满足以下需求时,可以优先评估ZED X Nano:

  • 相机需要安装在机械臂腕部或夹爪附近;

  • 主要工作距离集中在5~150cm;

  • 需要获取RGB、深度图和三维点云;

  • 目标或机器人处于运动状态;

  • 安装空间和末端负载有限;

  • 使用NVIDIA Jetson、ROS 2或Isaac ROS;

  • 需要采集具身智能或模仿学习数据;

  • 应用环境以室内为主。

如果项目主要进行0.1~12m范围的机械臂、分拣或AMR感知,可考虑ZED X Mini;如果需要机器人导航、户外环境感知或最远35m的深度范围,可考虑ZED X。

不同型号的详细区别可参考:Stereolabs ZED X、ZED X Mini与ZED X Nano选型指南

选型与采购支持

深圳市立维创展科技有限公司代理Stereolabs产品,可提供ZED X Nano、ZED X Mini、ZED X、ZED X One、ZED Box、ZED Link采集卡及GMSL2连接线等产品。

如需为机械臂抓取、人形机器人、灵巧手、具身智能训练或Physical AI数据采集项目选择相机,可提供工作距离、目标尺寸、机械臂型号、计算平台、安装空间和使用环境,我们将协助确认相机型号、采集卡、线缆及边缘计算平台配置。

推荐资讯

  • DYTRAN通用加速度计3056系列
    DYTRAN通用加速度计3056系列 2021-10-08 16:47:32

    DYTRAN​ 3056系列是具备成本效益的单轴IEPE加速度计,敏感度范围为10至500mV/g。DYTRAN 3056系列包括具备TEDS功能模块的型号规格及其具备325°F(163°C)扩展环境温度范围的型号规格。该系列的特点是低噪音、高谐振频率(>25kHz)、±5%的严格敏感度规格及其1Hz至10kHz的频率响应。

  • Sensata森萨塔116CP21-M04S2-50塑料陶瓷电容式传感器
    Sensata森萨塔116CP21-M04S2-50塑料陶瓷电容式传感器 2024-04-25 10:23:15

    116CP21-M04S2-50塑料陶瓷电容式传感器,采用森萨塔科技的陶瓷电容技术。适用于轻工业如锅炉、泵等,具多种配置。特点包括多端口选项、高精度、小巧、自动校准、符合标准。规格包括电源5VDC或8-30VDC,输出0.5至3.5V或0.5至4.5V等。

在线留言

在线留言