当前位置: 首页 > news >正文

深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系

batch、batch_size、epoch、iteration关系:

epoch:整个数据集

batch: 整个数据集分成多少小块进行训练

batch_size: 一次训练(1 batch)需要 batch_size个样本

iteration: 整个数据集需要用batch_size训练多少轮

例如:训练集1000个样本,分成100小块batch,batch_size=10,则iteration=100轮,epoch=1


小样本中episode、support set、query set关系

小样本中分为meta-training和meta-testing
meta-testing从总类中随机选择N个类,每个类选k+x个样本,k个样本用作support set,x用作query set,同理可得meta-training中的S和Q(此时不一定和testing选N个类或者k个样本)

img

一个episode/task 就是一次Support set + Query set训练(包含数据集划分,训练,反向传播,更新参数过程,下一个episode,再选择其他几个类训练模型。

假设上述是5-way-1-shot,一个episod训练过程如下:

  1. backbone从S的5类图片中提一个 5x1600 维的 support feature Zs(假设每一类图片用一个1600维向量表示,5类就是一个5x1600 维的矩阵)
  2. 将这个 support feature 送入 classifier 中
  3. Query set 将一张图片送入 backbone ,提出一个1x1600 维的 query feature Zq (因为 Query set 中的这张图片肯定是属于 5 类中的某一类,而一类图片是用一个 1600 维的向量来表征的,因此这里将会得到一个 1x1600 维的矩阵)
  4. 将这个 query feature 送入 classifier 中
  5. classifier 中接收到了两个feature: Z’s ( 5x1600 维 ) 和 Zq( 1x1600 维 ),计算两个feature之间的距离(余弦距离就是做内积得到一个5x1的向量)
  6. 经过sofmax得到值最大的一个或者one-hot编码为1就是query set属于哪一类
  7. 预测结果和真实标签计算loss ,梯度反向传播来更新backbone的网络参数

参考文章:
神经网络中episode、epoch、iteration、batch_size的理解
episode、epoch、batch-size、iteration区别
小样本学习中的一些基本概念
小样本学习(Few-Shot Learning)训练参数意义

http://www.lryc.cn/news/189748.html

相关文章:

  • Air001 TIM1高级定时器单脉冲输出模式使用
  • 矿机生意难做,比特大陆停发工资
  • 计算机竞赛python区块链实现 - proof of work工作量证明共识算法
  • pyqt 划线标注工具,可用于车道线标注
  • 蓝桥等考Python组别十七级004
  • 计算机毕业设计选什么题目好?springboot 职业技术学院图书管理系统
  • 外汇天眼:6个常见网络投资诈骗迹象,如发现任何一个,务必小心!
  • MyBatis的xml里#{}的参数为null报错、将null作为参数传递报错问题
  • 【网络安全】「漏洞原理」(一)SQL 注入漏洞之概念介绍
  • Go语言错误处理最佳实践
  • python结合excel数据轻松实现接口自动化测试
  • 构建精致 Chrome 插件:开箱即用的 TypeScript 模板 | 开源日报 No.51
  • 在Windows下自己从源码编译Python3.10.13成安装包
  • WIN10如何搭建自己的博客
  • uniapp 首页制作
  • 意大利航天飞行器公司【Sidereus】完成510万欧元融资
  • 10-网络篇-DHCP获取的参数详解
  • MVCC底层原理
  • 云原生Docker容器管理
  • 1.Cesium For Unity插件安装
  • 浅述安防视频可视化场景中TSINGSEE青犀AI智能化应用的分析
  • 百度飞浆ResNet50大模型微调实现十二种猫图像分类
  • 多服务器云探针源码(服务器云监控)/多服务器多节点_云监控程序python源码
  • ESP8266 WiFi物联网智能插座—下位机软件实现
  • 微信小程序--下拉选择框组件封装,可CV直接使用
  • 代码随想录算法训练营第五十九天 |647. 回文子串、516.最长回文子序列、动态规划总结篇
  • 互联网性能和可用性优化CDN和DNS
  • 使用 ErrorStack 在出现报错 ORA-14402 时产生的日志量
  • 详解Spring-ApplicationContext
  • 关键字extern、static与const