图漾AGV行业常用相机使用文档

1.图漾相机设置IP

1.1 前期准备

  1.一根超五类及其以上规格网线(cat5e、cat6…）
  2.PercipioViewer2.6.1软件
小技巧1：
  图漾相机出厂默认是自动IP，相机上电后，建议先将电脑上网络适配器改为自动获取IP后，通过PeripioViewe2.6.1软件连接一下相机，之后再将电脑上网络适配器改为静态IP后，再将相机设置为静态IP。

小技巧2：
  建议使用最新版本PercipioViewer 2.6.1，在更改电脑主机网络适配器IP后，PercipioViewer2.6.1软件会自动更改默认网关和子网掩码。
  将网线一端连接相机设备或者AGV小车控制器调试接口，另外一端与电脑直连，确定电脑网段操作如下：
  详细IP操作可查看如下链接：
  相机更改IP操作

2.FM851-E2相机

2.1 FM851-E2适用场景

  适用材质：木质、普通蓝色塑料，金属托盘，带反光柱等场景。
  特点：波段830nm，抗光性较弱，不建议在有阳光斜射的场景使用，且建议托盘上边沿壁厚超过20mm，否则上边沿容易出现点云断裂现象。
  不适用材质：黑色等低反射率材质托盘。
  不适用的现场环境：有阳光斜射、顶部有天窗或者黑暗环境下使用(如果使用深度学习+3D模版匹配，RGB亮度不够，造成识别率偏低)。

2.2 FM851-E2 IO线和数据线定义

触发结构外观

2.2.1 IO接口定义

触发结构线序

2.2.2 数据接口线

   建议使用千兆以太网，如果相机在动态场景中使用，建议使用高柔以太网线。

2.2.3 相机正面安装方向

  FM851-E2相机的安装方向，有以下方式判断：

观察散斑投射器位置

相机散热面和黄色标签朝上

2.2.4 相机IO指示灯

   FM851-E2和FM855-E2-7相机状态指示灯如下图所示：

2.3 FM851-E2/FM855-E2-7相机RGB颜色异常

  在实际应用场景中，FM851-E2相机由于RGB相机本身，没有硬ISP功能，常常会出现R/G/B三通道增益值设置的不合理，造成采集的图片成像异常。

  1.碰到这种情况，首先要降低RGB的AnalogGain值，其次降低曝光值
  2.同时建议把RGB三通道数值或者AutoISP功能。

【解决措施1】：

第一种：大概按照3:2:3的一个比例去设置R/G/B三通道的数值//获取RGB支持的属性bool hasRGB_ANALOG_GAIN, hasRGB_R_GAIN, hasRGB_G_GAIN, hasRGB_B_GAIN, hasRGB_EXPOSURE_TIME;ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, &hasRGB_ANALOG_GAIN));	ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, &hasRGB_R_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, &hasRGB_G_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, &hasRGB_B_GAIN));ASSERT_OK(TYHasFeature(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, &hasRGB_EXPOSURE_TIME));if (hasRGB_ANALOG_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_ANALOG_GAIN, 1));//设置RGB模拟增益[0，3]}if (hasRGB_R_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_R_GAIN, 32));//设置RGB数字增益R通道[0,255]}if (hasRGB_G_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_G_GAIN, 20));//设置RGB数字增益G通道[0,255]}if (hasRGB_B_GAIN){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_B_GAIN, 32));//设置RGB数字增益B通道[0,255]}if (hasRGB_EXPOSURE_TIME){ASSERT_OK(TYSetInt(hDevice, TY_COMPONENT_RGB_CAM, TY_INT_EXPOSURE_TIME, 200));//设置RGB曝光时间【3，1088】}

【解决措施2】：

   程序里设置AutonISP功能，具体操作如下：
   1.首先初始化

 TY_ISP_HANDLE hColorIspHandle = NULL;

   2.在调用RGB组件时，调用软ISP功能

    ///try to enable color cameraif(allComps & TY_COMPONENT_RGB_CAM  && color){LOGD("Has RGB camera, open RGB cam");ASSERT_OK( TYEnableComponents(hDevice, TY_COMPONENT_RGB_CAM) );//create a isp handle to convert raw image(color bayer format) to rgb imageASSERT_OK(TYISPCreate(&hColorIspHandle));//Init code can be modified in common.hpp//NOTE: Should set RGB image format & size before init ISPASSERT_OK(ColorIspInitSetting(hColorIspHandle, hDevice));//You can  call follow function to show  color isp supported features
#if 0ColorIspShowSupportedFeatures(hColorIspHandle);
#endif//You can turn on auto exposure function as follow ,but frame rate may reduce .//Device may be casually stucked  1~2 seconds while software is trying to adjust device exposure time value
#if 0ASSERT_OK(ColorIspInitAutoExposure(hColorIspHandle, hDevice));
#endif}

   3.最后在关闭相机取流时，释放接口

 ASSERT_OK( TYStopCapture(hDevice) );ASSERT_OK( TYCloseDevice(hDevice));ASSERT_OK( TYCloseInterface(hIface) );ASSERT_OK(TYISPRelease(&hColorIspHandle));ASSERT_OK( TYDeinitLib() );

2.4 FM851-E2相机成像质量差

【问题描述】：

   相机在拍摄下面金属托盘时，点云缺失严重，无法通过调整参数，形成较好的图像。

【排查过程】：

1.首先排查现场环境：

   是否有侧窗或者顶部有阳光斜射，如FM851-E2相机，由于激光波段是830nm的，在有环境光干扰的工作环境下，信噪比不够，造成成像欠佳。

【解决措施】：
   1.前期方案评估时，尽量考虑到现场环境对相机的影响
   2.如果相机已经在现场使用，先适当降低相机IR的AnalogGain参数和Gain参数，查看成像是否会好一些，如仍无法解决，考虑用FM855-E2-7平替。

2.现场材质因素：

   1. 确认现场材质是否有黑色托盘等低反射率材质，此时调整相机参数，在2m以外，很难拿到比较好的成像；
  2. 而如果是高反金属，此时需要适当降低激光亮度降低曝光、增益和模拟增益。
【解决措施】：
   黑色托盘属于低反材质，FM851-E2无法胜任此场景，建议切换成FM854-E1和FM855-E1，如现场结构和线缆不允许更换，建议使用FM855-E2-7相机。

3.相机参数设置不合理：

   如果需要查看散斑相机的IR图，首先需要关闭light Source里面的auto ctrl属性，之后再打开左右相机IR图查看散斑信息，是否过曝，过亮，详细操作如下图：

   注意：跟深度图相关的有IR Gain、IR AnalogGain和IR ExposureTime这三个参数可调，建议调节顺序为IR ExposureTime->IR AnalogGain->IR Gain。
   IR AnalogGain属性是对相机模拟信号进行放大，不建议设置过大，过大图像容易产生噪点。
【解决措施】：
   1.如调试参数不能得到一张比较好的深度图，建议联系图漾技术。

4.相机标定失效

   由于运输过程或者其他因素，造成相机碰撞，或者相机散热未做好，导致相机散斑图出现模糊，从而使深度图成像较差，具体有以下两种方式去排查
  方法一：按照如下图所示操作，查看相机左右IR，同一个亮点，是否在同一水平线上。

  方法二：按照方法一的操作，可查看IR散斑是否有粘连或者模糊的情况，具体如下图：

相机左IR  相机右IR

   左IR图的中心偏右下方比正常的模组要模糊一些。
【解决措施】：
   1.遇到此种情况，联系图漾技术确认后，需要返厂维修。

5.相机激光器损坏

   需要相机打开取流，之后打开相机，若此处的散斑投射器没有发光，如未发光表示已损坏(可用安卓手机对着相机拍摄，看是否有激光闪烁)，若损坏则需要寄回维修，更换激光器。
【解决措施】：
   1.遇到此种情况，联系图漾技术确认相机激光器损坏后后，需要返厂维修。

6.工作环境(主要是温度和湿度)

   情况1：如果在冷库或者偏北方的区域使用，有时候出现相机开机时正常，但工作一阵子后，深度图变差，查看此时IR图散斑图，呈模糊状，静止或者拆下来一会后，相机又成像正常；
   情况2：而如果频繁在冷库和室温环境来回切换，相机镜头表面有凝露，擦拭水珠后，成像又恢复正常。
   情况3：相机在俄罗斯或者北方区域工作时，工作环境在0度以下，刚开始工作的时候，出现深度图比较差的情况，工作一阵子后，深度图逐渐正常。

【解决措施】：
   1.首先需要排除现场环境的干扰，之后排查是否有问题4和5现象。排查后如未发现问题，请联系图漾技术。

7.相机安装高度角度

   根据实测数据，叉臂长度在 1.2 米之下时，安装高度在 0.35 米-0.45米左右；叉臂长度大于 1.2 米时，安装高度在在 0.45 米-0.8米左右。以上数据根据经验得出结论，不同的叉车会有差异。
   相机与上表面的倾斜角度不建议操作30度，角度较大，容易对相机的立体匹配算法产生影响，同时对图像对齐会有些许影响，进而影响识别率。
【解决措施】：
   1.设计安装机构时，角度尽可能可调。
   2.在相机工作范围内，如果倾斜角度较小，此时识别率较低，建议适当拉开相机与托盘的拍照距离。

8.相机工作距离偏远或者偏近

   1.如在4m外拍摄蓝色托盘，托盘上边沿壁厚在20mm左右，此时托盘上边沿已经处于断裂状态。
   2.测试过程中在700mm以内拍摄物体，属于相机工作盲区，无法成像。
   3.相机的工作区间是在90%反射率下得出的。如果拍摄黑托盘等低反物体，尽量压缩工作区间。

3.M854-E1相机

3.1 FM854-E1适用场景

   适用材质：木质、普通蓝色塑料和黑色托盘(2m内对黑色托盘成像较好)，带反光柱的场景。
   特点：波段940nm，抗光性较强，适合室内，半室外等场景。

3.2 FM854-E1 IO线和数据线定义

3.2.1 IO接口定义

3.2.2 数据接口线

   相机数据线如下图：

3.2.3 相机正面安装方向

   FM854-E1正面方向如下：

3.2.4 相机IO指示灯

   FM854-E1相机状态指示灯如下图所示：

   相机出现问题后，可先通过相机指示灯判断相机状态，如ETH指示灯不亮，表明相机与控制器链接为百兆网，可以查看网线是否损坏或者两端连接口是否牢固。

4.M855-E1相机

4.1FM855-E1适用场景

   适用材质：复杂场景下的栈板识别，比如室内有阳光斜射，有天窗，高反材质，黑色托盘等等。
   特点：波段940nm，抗光性较强。

4.2 FM851-E1 IO线和数据线定义

4.2.1 IO接口定义

  FM854-E1相机状态指示灯如下图所示：

触发IO结构外观

IO触发结构线序

4.2.2 数据接口线

   FM855-E1相机，网路数据线如下图所示：

   如果相机在动态场景中使用，建议使用高柔线，非高柔线容易引发掉线问题。

4.2.3 相机正面安装方向

   FM855-E1相机的安装方向，有以下方式判断：

FM855-E1散热面

观察IO和散斑投射器

4.2.4 相机IO指示灯

   FM855-E1相机状态指示灯如下图所示：

4.3 FM855-E1 成像问题

4.3.1 黑色托盘成像差

   此时需要查看散斑相机的IR图，首先需要关闭light Source里面的auto ctrl属性，之后再打开左右相机IR图查看散斑信息，是否过曝，过亮，详细操作如下图：
   建议先将analog gain调整至1至2，之后调整gain至20~32区间，调整完毕后再打开深度图取流，观察深度图成像。

4.3.2 点云噪点多

   搭配图漾PercipioViewer2.6.1软件时，FFM855-E1相机自带的SGBM属性会被隐藏，打开SGBM参数如下图:

打开相机SGBM参数

5.TM26X之dTOF避障相机

5.1 TM262/TM265产品介绍

   特点：机身小巧易集成，适用于客流计、立体避障【TM262】和叉尖避障【TM265】等应用。
   不适用场景：场景中有发光柱、识别3m外5cm以下黑色低反材质。

5.2 TM262-E1/TM265-E1 IO线和数据线定义

5.2.1 IO接口定义

  相机的IO线定义如下:

5.2.2 数据接口线

  TM262/TM265相机数据链路连接如下图：

5.2.3 TM262相机正面安装方向

  TM262相机正面安装方向如下，黄色标签在上：

5.2.4 TM265相机正面安装方向

  TM265相机正面安装方向如下：

5.2.5 相机IO指示灯

  TM26X相机的状态指示灯如下图：

   如遇到相机状态指示灯不亮，请仔细检查相机硬件连接是否正常，供电是否正常。

5.3 TM26X成像问题

5.3.1多台相机同时使用产生异常点云

  TM26X相机拍摄远方物体时，总是有莫名噪点产生，如下图所示：

【解决措施】：

  开启相机Depth Stream数据流中的 tof anti-interference功能，开启后实际效果如下图：

5.3.2 倒车过程中，叉尖相机误避障

###【问题描述】：
  TM26X插尖相机，在倒车过程中，偶发出现误避障问题。
###【排查过程】:
  通过保存的点云，观察如下图所示：

###【原因分析】:
  当托盘超出叉臂一部分，同时货物又超出叉臂一部分，叉尖相机只能看到托盘下表面和货物下表面，托盘上下表面有一个倾斜角，相机打出去的激光，打到托盘下表面和货物下表面，有反射的光线打到地面，又再次进入相机，在两者各超托间隙形成类似“拉丝”现象。

实际货物超托示意图

【解决措施】

  比如之前设置的600，可适当改为1104/1105，可解决大部分“拉丝”现象。
  注意1：末尾数值越大，近处滤波倍率越大，末尾数值是9，过滤倍率最大，但容易丢失小目标物体。
  注意2：使用此功能，需要TM262相机固件在1.2.21以上版本，TM265相机固件在1.0.28版本以上。

6.TM421之iTOF相机

6.1 TM421 工作场景

  材质：木质、蓝色等标准托盘，适合在室内，半室外等工作场景
  不适宜场景：相机贴地安装，附近有高反物体(如反光柱)，金属料卷等场景，如需要拍摄黑色材质，建议在2m以内，同时联系图漾技术更改相机寄存器配置。

6.2 TM421 IO线和数据线定义

6.2.1 IO接口定义

  TM421相机的IO引脚定义如下：

6.2.2 数据接口线

  TM421相机数据线如下图：

6.2.3 TM421相机正面安装方向

  TM421相机正面安装方向如下：

6.2.4 相机IO指示灯

  TM421相机的状态指示灯如下图：

6.3 TM421成像问题

6.3.1 附近有反光柱造成成像异常

  如下图实际场景所示，托盘附近有反光柱，造成点云异常。

   而实际成像点云图异常，如下图所示：

###【原因解释】：
   打开相机IR Stram数据流，会发现反光柱附近周边像素都很亮，造成光污染，从而引起反光柱附近的点云异常。
###【缓解措施】：
   首先降低IR Stream数据流，降低曝光时间，之后调整Depth Stream数据流，调整filter Threshold 数值在50~100之间。

6.3.2托盘上有高低反材质

   托盘上有高低反二维码，实际场景如下图：

   实际成像点云图，如下图所示：

【原因解释】：

   打开相机IR Stram数据流，会发现二维码附近周边像素都很亮，造成光污染，从而引起二维码附近的点云异常。

【缓解措施】：

   首先降低IR Stream数据流，降低曝光时间，之后调整Depth Stream数据流，将 depth quality模式改为high模式。

6.3.3 相机贴地安装/高亮地面等造成成像异常

   实际成像点云图如下图所示：

【原因解释】：

   TOF相机由于地面串扰，会在高亮地面，靠近托盘处有点云镜像，建议把TOF相机放置在距离地面30cm公分以上，如需要贴地安装，建议使用双目散斑相机。

【缓解措施】：

   首先降低IR Stream数据流，降低曝光时间，之后调整Depth Stream数据流，调整filter Threshold 数值在50~100之间。

6.3.4拍摄高反料卷

   拍摄高反圆柱料卷，会发现点云非圆柱状:
   用iTOF相机拍摄，会发现点云如下图：

7.图漾相机共性操作

7.1 保存图像

   图漾相机保存图像，可以打开如下链接，查看具体操作。
  图漾相机保存图像操作

7.2 图漾相机常见错误码及解决措施

   图漾官网给出了常见错误码及解决措施，具体可打开如下链接：
   图漾官网提供的错误码
   其他错误码解析，可打开如下链接：
   个人整理的图漾错误码

7.3 图漾相机如何计算视野？

7.4 相机是否支持ISP功能？

   若图像输出YUYV格式，则相机带有硬件ISP模块。
   若图像输出BAYER8GB格式，则相机需要使用AutoIsp功能

7.5图漾相机如何保存参数？

   1.首先下载图漾PercipioViewer2.6.1看图软件
   2.正常给相机连接后，打开目标相机
   3.根据实际情况调整相机属性，以达到最佳效果。
   4.在设置完相机参数后，关闭所有相机取流。
   5.点击菜单栏 Tools > Parameters，进入 Camera parameters configuration 页面。

   详细操作如下面链接所示：
   图漾相机保存数据操作