当前位置: 首页 > news >正文

TensorFlow 预训练目标检测模型集合

Tensorflow 提供了一系列在不同数据集上预训练的目标检测模型,包括 COCO 数据集、Kitti 数据集、Open Images 数据集、AVA v2.1 数据集、iNaturalist 物种检测数据集 和 Snapshot Serengeti 数据集。这些模型可以直接用于推理,特别是当你对这些数据集中已有的类别感兴趣时。同时,它们也可用于新数据集上训练模型时的初始化。

下表列出了每个预训练模型,包括:

  • 模型名称,对应于 samples/configs 目录中用于训练此模型的配置文件;
  • 包含预训练模型的 tar.gz 文件的下载链接;
  • 模型速度 —— 我们报告的是每张 600x600 图像的运行时间(包括所有预处理和后处理),但请注意这些时间高度依赖于特定的硬件配置(这些时间是在 Nvidia GeForce GTX TITAN X 显卡上测得的),在很多情况下应被视为相对时间。同时注意,桌面 GPU 的时间并不总是反映移动设备的运行时间。例如,Mobilenet V2 在移动设备上比 Mobilenet V1 快,但在桌面 GPU 上略慢;
  • 在 COCO 验证集的子集、Open Images 测试集、iNaturalist 测试集或 Snapshot Serengeti LILA.science 测试集上的检测器性能,以数据集特定的 mAP 度量。这里,数值越高越好,我们只报告四舍五入到整数的边界框 mAP。
  • 输出类型(Boxes,如果适用的话还有 Masks

你可以通过例如以下命令来解压缩每个 tar.gz 文件:

tar -xzvf ssd_mobilenet_v1_coco.tar.gz

在解压缩后的目录中,你将找到:

  • 一个图模型(graph.pbtxt
  • 一个检查点(model.ckpt.data-00000-of-00001model.ckpt.indexmodel.ckpt.meta
  • 一个将权重作为常量烘焙进图的冻结图模型(frozen_inference_graph.pb),用于直接推理(在 Jupyter 笔记本中试试这个!)
  • 一个用于生成图的配置文件(pipeline.config)。这些直接对应于 samples/configs 目录中的配置文件,但通常具有修改后的得分阈值。在较重的 Faster R-CNN 模型的情况下,我们还提供了一个使用更少提议数量以提高速度的模型版本。
  • 仅限移动模型:一个可以部署在移动设备上的 TfLite 文件(model.tflite)。

关于冻结推理图的一些说明:

  • 如果你尝试评估冻结图,可能会发现一些模型的性能略低于我们在下表中报告的数值。这是因为在创建冻结图时,我们丢弃了得分低于阈值(通常为 0.3)的检测。这实际上相当于在检测器的精确度召回曲线上选择一个点(并丢弃该点之后的部分),这会对标准 mAP 度量产生负面影响。
  • 我们的冻结推理图是使用 Tensorflow 的 v1.12.0 版本生成的,我们不保证这些图能与其它版本兼容;话虽如此,每个冻结推理图都可以使用你当前版本的 Tensorflow 重新生成,方法是重新运行 exporter,指向模型目录以及 samples/configs 中相应的配置文件。

COCO 训练模型

模型名称速度(ms)COCO mAP输出
ssd_mobilenet_v1_coco3021Boxes
ssd_mobilenet_v1_0.75_depth_coco ☆2618Boxes
ssd_mobilenet_v1_quantized_coco ☆2918Boxes
ssd_mobilenet_v1_0.75_depth_quantized_coco ☆2916Boxes
ssd_mobilenet_v1_ppn_coco ☆2620Boxes
ssd_mobilenet_v1_fpn_coco ☆5632Boxes
ssd_resnet_50_fpn_coco ☆7635Boxes
ssd_mobilenet_v2_coco3122Boxes
ssd_mobilenet_v2_quantized_coco2922Boxes
ssdlite_mobilenet_v2_coco2722Boxes
ssd_inception_v2_coco4224Boxes
faster_rcnn_inception_v2_coco5828Boxes
faster_rcnn_resnet50_coco8930Boxes
faster_rcnn_resnet50_lowproposals_coco64Boxes
rfcn_resnet101_coco9230Boxes
faster_rcnn_resnet101_coco10632Boxes
faster_rcnn_resnet101_lowproposals_coco82Boxes
faster_rcnn_inception_resnet_v2_atrous_coco62037Boxes
faster_rcnn_inception_resnet_v2_atrous_lowproposals_coco241Boxes
faster_rcnn_nas183343Boxes
faster_rcnn_nas_lowproposals_coco540Boxes
mask_rcnn_inception_resnet_v2_atrous_coco77136Masks
mask_rcnn_inception_v2_coco7925Masks
mask_rcnn_resnet101_atrous_coco47033Masks
mask_rcnn_resnet50_atrous_coco34329Masks

注意:模型名称后的星号(☆)表示该模型支持 TPU 训练。

注意:如果你下载了量化模型的 tar.gz 文件并解压,将得到一组不同的文件 - 一个检查点、一个配置文件和 tflite 冻结图(文本/二进制)。

移动模型

模型名称Pixel 1 延迟(ms)COCO mAP输出
ssd_mobiledet_cpu_coco11324.0Boxes
ssd_mobilenet_v2_mnasfpn_coco18326.6Boxes
ssd_mobilenet_v3_large_coco11922.6Boxes
ssd_mobilenet_v3_small_coco4315.4Boxes

Pixel4 Edge TPU 模型

模型名称Pixel 4 Edge TPU 延迟(ms)COCO mAP (fp32/uint8)输出
ssd_mobiledet_edgetpu_coco6.925.9/25.6Boxes
ssd_mobilenet_edgetpu_coco6.6-/24.3Boxes

Pixel4 DSP 模型

模型名称Pixel 4 DSP 延迟(ms)COCO mAP (fp32/uint8)输出
ssd_mobiledet_dsp_coco12.328.9/28.8Boxes

Kitti 训练模型

模型名称速度(ms)Pascal mAP@0.5输出
faster_rcnn_resnet101_kitti7987Boxes

Open Images 训练模型

模型名称速度(ms)Open Images mAP@0.5[^2]输出
faster_rcnn_inception_resnet_v2_atrous_oidv272737Boxes
faster_rcnn_inception_resnet_v2_atrous_lowproposals_oidv2347Boxes
facessd_mobilenet_v2_quantized_open_image_v4 [^3]2073 (faces)Boxes
模型名称速度(ms)Open Images mAP@0.5[^4]输出
faster_rcnn_inception_resnet_v2_atrous_oidv442554Boxes
ssd_mobilenetv2_oidv48936Boxes
ssd_resnet_101_fpn_oidv423738Boxes

iNaturalist 物种训练模型

模型名称速度(ms)Pascal mAP@0.5输出
faster_rcnn_resnet101_fgvc39558Boxes
faster_rcnn_resnet50_fgvc36655Boxes

AVA v2.1 训练模型

模型名称速度(ms)Pascal mAP@0.5输出
faster_rcnn_resnet101_ava_v2.19311Boxes

Snapshot Serengeti Camera Trap 训练模型

模型名称COCO mAP@0.5输出
faster_rcnn_resnet101_snapshot_serengeti38Boxes
context_rcnn_resnet101_snapshot_serengeti56Boxes

[^1]:提到的COCO mAP(平均精度均值)是在COCO 2014年的minival数据集上评估的。这个数据集的划分与COCO 2017年的Val数据集不同。用于分割的完整图像ID列表可以在这里找到。COCO评估协议的详细信息可以在MSCOCO evaluation protocol查看。

[^2]:这里提到的是PASCAL mAP,但采用了稍微不同的真正例计算方法。具体细节可以在Open Images evaluation protocols中查看,特别是oid_V2_detection_metrics部分。

[^3]:在训练过程中,非人脸框被丢弃,而在评估时,非人脸的真实框被忽略。

[^4]:这是Open Images挑战赛的度量标准,具体细节也可以在Open Images evaluation protocols中查看,特别是oid_challenge_detection_metrics部分。

对于Open Images evaluation protocols,它包含了Open Images数据集的评估协议和度量标准,这些协议和标准用来评估目标检测、图像分类等任务的性能。这些评估协议详细说明了如何计算精确度、召回率和平均精度(AP)等指标,以及如何处理边界框的匹配和重叠问题。具体的评估协议和度量标准文档可以在Open Images官方GitHub页面或相关技术论文中找到。

http://www.lryc.cn/news/473670.html

相关文章:

  • 字符串的区别
  • EMR Serverless Spark:一站式全托管湖仓分析利器
  • Linux find 匹配文件内容
  • 【Redis优化——如何优雅的设计key,优化BigKey,Pipeline批处理Key】
  • 数据结构与算法分析:你真的理解图算法吗——深度优先搜索(代码详解+万字长文)
  • LinkedList 分析
  • 【C/C++】模拟实现strlen
  • mybatis从浅入深一步步演变分析
  • Java阶段三02
  • 【Linux】掌握库的艺术:我的动静态库封装之旅
  • UE5动画控制 基础
  • 流畅!HTMLCSS打造网格方块加载动画
  • linux命令之top(Linux Command Top)
  • 数据结构-希尔排序(ShellSort)笔记
  • Junit + Mockito保姆级集成测试实践
  • 软件项目管理要点
  • ESP8266 连接 MQTT 服务器EMQX 连接MQTTX
  • Python中如何处理异常情况?
  • openpnp - 在openpnp中单独测试相机
  • Spark窗口函数
  • Idea、VS Code 如何安装Fitten Code插件使用
  • elasticsearch7.x在k8s中的部署
  • 校园社团信息管理平台:Spring Boot技术实战指南
  • 【Linux】从内核角度理解 TCP 的 全连接队列(以及什么是 TCP 抓包)
  • 太速科技-712-6U VPX飞腾处理器刀片计算机
  • 深度学习(八) TensorFlow、PyTorch、Keras框架大比拼(8/10)
  • thinkphp中命令行工具think使用,可用于快速生成控制器,模型,中间件等
  • Discourse 是否支持手机注册
  • 软件测试学习笔记丨Flask框架-请求与响应
  • 【C++笔记】list结构剖析及其模拟实现