当前位置: 首页 > news >正文

将FastSAM中的TextPrompt迁移到MobileSAM中

本博文简单介绍了SAM、FastSAM与MobileSAM,主要关注于TextPrompt功能的使用。从性能上看MobileSAM是最实用的,但其没有提供TextPrompt功能,故而参考FastSAM中的实现,在MobileSAM中嵌入TextPrompt类。并将TextPrompt能力嵌入到MobileSAM官方项目提供的gradio.py部署代码中,实现效果如下图所示,由于FastSAM全景实列分割比MobileSAM略差,故MobileSAM的text prompt分割效果比FastSAM要好很多。
在这里插入图片描述
在这里插入图片描述

1、 SAM系列模型介绍

1.1 SAM

SAM项目代码:https://github.com/facebookresearch/segment-anything
SAM是一个项目体系,而非某个网络模型。其核心是对数据的利用,对模型输入输出格式的调整。其网络模型均依赖VIT模型,其结构体系为提示分割模型(与普通语义分割模型多了提示这一层)。SAM参考NLP,认为其具备强大的下游泛化能力是因为提示输入,其认为分割任务的提示输入为点、推荐框、mask和文本(对于文本输入的理解使用CLIP编码器),通过给定提示输

http://www.lryc.cn/news/319988.html

相关文章:

  • KY191 矩阵幂(用Java实现)
  • 基于Python的股票市场分析:趋势预测与策略制定
  • 【C++】了解一下编码
  • 生成式人工智能在金融领域:FinGPT、BloombergGPT及其未来
  • webpack5零基础入门-10babel的使用
  • SAR ADC教程系列5——FFT频谱泄露以及相干采样
  • 算法D48 | 动态规划10 | 121. 买卖股票的最佳时机 122.买卖股票的最佳时机II
  • Windows10安装RubyRails步骤
  • Sqlserver 模糊查询中文及在mybatis xml【非中文不匹配查询】N@P2问题
  • 旧华硕电脑开机非常慢 电脑开机黑屏很久才显示品牌logo导致整体开机速度非常的慢怎么办
  • 【go语言开发】性能分析工具pprof使用
  • ARM_基础之RAS
  • VScode(1)之内网离线安装开发环境(VirtualBox+ubuntu+VScode)
  • Python爬虫与数据可视化源码免费领取
  • Android Studio 打包 Maker MV apk 详细步骤
  • react中hooks使用限制
  • 2024抖音矩阵云混剪系统源码 短视频矩阵营销系统
  • 力扣题目训练(22)
  • [ROS 系列学习教程] rosbag Python API
  • TCL管理Vivado工程
  • R语言:microeco:一个用于微生物群落生态学数据挖掘的R包,第四:trans_beta class
  • Excel文件导入导出,SpringBoot整合EasyExcel批量导入导出,采用的JDBC+EasyExcel(附带整个Demo)
  • Git——本地使用详解
  • 深度学习pytorch——Tensor维度变换(持续更新)
  • Selenium-webdriver_manager判断是否已经下载过驱动(复用缓存驱动)
  • 【SQL】1174. 即时食物配送 II (窗口函数row_number; group by写法;对比;定位错因)
  • mvcc介绍
  • 强化PaaS平台应用安全:关键策略与措施
  • K8s 集群高可用master节点ETCD挂掉如何恢复?
  • 【Godot 4.2】常见几何图形、网格、刻度线点求取函数及原理总结