当前位置: 首页 > news >正文

Pytorch深度学习实战3-8:详解数据可视化组件TensorBoard安装与使用

目录

  • 1 什么是Tensorboard?
  • 2 Tensorboard安装
  • 3 Tensorboard可视化流程
  • 4 Tensorboard可视化实例
    • 4.1 常量可视化
    • 4.2 特征图可视化

1 什么是Tensorboard?

在深度学习领域,网络内部如同黑箱,其中包含大量的连接参数,这给人工调试造成极大的困难。Tensorboard则是神经网络的可视化工具,可以记录训练过程的数字、图像、运行图等内容,方便研究人员对训练参数进行统计,观察神经网络训练过程并指导参数优化。

在这里插入图片描述

2 Tensorboard安装

参考Anaconda安装与Python虚拟环境配置保姆级图文教程(附速查字典)创建一个实验用的虚拟环境。进入相应虚拟环境后,输入以下指令即可安装。

pip install tensorboardX
pip install tensorboard

安装完成后,进入环境

python
from torch.utils.tensorboard import SummaryWriter

若上述指令不报错即说明安装成功。

3 Tensorboard可视化流程

Tensorboard可视化过程主要为:

  • 为某次实验创建数据记录句柄

    writer = SummaryWriter(path)
    

    其中path是数据记录日志的存储路径。

  • 通过writer实例的add_xxx方法向日志写入不同类型的观察数据,主要类型有

    Scalars:在模型训练期间显示不同的有用信息
    Graphs:显示模型
    Histogram:使用直方图显示权重
    Distribution:显示权重分布
    Projector:显示主成分分析和T-SNE算法,用于降维

  • 启动Tensorboard可视化引擎

    tensorboard --logdir=<your_log_dir>
    

    其中<your_log_dir>可以是单次实验的日志所在路径,也可以是多次实验的父级目录,Tensorboard会自动横向比较各次实验曲线。

4 Tensorboard可视化实例

4.1 常量可视化

这边给大家提供一个很方便的装饰器,实现过程如下

from tensorboardX import SummaryWriter
import os, timeclass Visualizer:def __init__(self) -> None:pass@staticmethoddef visual_scale(title: str, path: str, cover: bool=True):'''* @breif: 可视化模型标量数据* @param[in]: title  -> 图表名称* @param[in]: path   -> 可视化数据存储路径* @param[in]: cover  -> 是否覆盖已有可视化数据'''def scale(func):def wrap(*args, **kwargs):writer = SummaryWriter(log_dir=Visualizer.coverFile(path, cover))result = func(*args, **kwargs)if len(result) > 0:data_num = len(result[next(iter(result))])for i in range(data_num):writer.add_scalars(title, {k: v[i] for k, v in result.items()}, i)return resultreturn wrapreturn scale

使用起来只需要一句话,注意要构造一个字典,记录将要传递给tensorboard的数据:

@visual_scale('loss', './log/fcnn')
def main(model, epochs: int, save: bool=False) -> None:# 生成优化器——随机梯度下降optimizer = torch.optim.SGD(model.parameters(), 1e-3)lossParam = {"trainLoss": [], "validLoss": []}for i in range(epochs):lossParam["trainLoss"].append(train(i, epochs, model, optimizer))lossParam["validLoss"].append(validate(i, epochs, model))if save:torch.save(model.state_dict(), r"model/{}.pth".format(model.__str__))return lossParam

在这里插入图片描述

在这里插入图片描述

4.2 特征图可视化

同样用装饰器的形式构造一个可视化卷积核的工具函数

def visual_kernal(title: str, path: str, append: bool=False):def kernal(func):def warp(*args, **kwargs):if not append and os.path.exists(path):delFiles(path)writer = SummaryWriter(log_dir=path)result = func(*args, **kwargs)try:model = kwargs['model']for name, param in model.named_parameters():if 'conv' in name.lower() and 'weight' in name:Cout, Cin, Kh, Kw = param.size()kernelAll = param.reshape(-1, 1, Kw, Kh)  # 每个通道的卷积核kernelGrid = vutils.make_grid(kernelAll, nrow=Cin)writer.add_image(f'{title}--{name}', kernelGrid, global_step=0)except:raise AttributeError("被修饰函数传入的模型不存在或参数格式有误!")return resultreturn warpreturn kernal

在这里插入图片描述


🔥 更多精彩专栏

  • 《ROS从入门到精通》
  • 《Pytorch深度学习实战》
  • 《机器学习强基计划》
  • 《运动规划实战精讲》

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇
http://www.lryc.cn/news/35278.html

相关文章:

  • 华为OD机试 - 旋转骰子(C 语言解题)【独家】
  • 如何做SpringBoot单元测试?
  • ZZULI训练: 数组和字符串专题
  • ElasticSearch如何解决深分页问题?
  • JDK8新特性宝典
  • 【C++】关于C++模板的分离编译问题
  • 小应用记账本-第2章-数据库设计
  • Spring Boot+Vue前后端分离项目练习06之网盘项目创建vue项目
  • Python - 单元测试
  • 特权级那些事儿-实模式下分段机制首次出现的原因
  • 详解Vue安装与配置(2023)
  • TypeScript深度剖析:Vue项目中应用TypeScript?
  • linux面试高级篇
  • java 4 (面向对象上)
  • HTTP报头的2个方法
  • yolov5双目检测车辆识别(2023年+单目+双目+python源码+毕业设计)
  • 华为OD机试题,用 Java 解【用户调度问题】问题
  • 根据mybatis plus注解动态创建sqlite表和表字段
  • 同步、异步ETL架构的比较
  • 【机会约束、鲁棒优化】具有排放感知型经济调度中机会约束和鲁棒优化研究【IEEE6节点、IEEE118节点算例】(Matlab代码实现)
  • 用Python帮老叔选出好基金,大赚一笔,老叔专门提着茅台登门道谢
  • ZeroTier实现内网穿透详细教程,无需公网IP,实现异地组网
  • 电商 SaaS 全渠道实时数据中台最佳实践
  • macos ncnn 安装踩坑记录···
  • ESP32设备驱动-AM2301(DHT21)温度湿度传感器驱动
  • [数据结构]:16-归并排序(顺序表指针实现形式)(C语言实现)
  • React(七):Router基本使用、嵌套路由、编程式导航、路由传参、懒加载
  • Java基础面试题(一)
  • 代码命名规范是一种责任也是一种精神(工匠精神)
  • 奇淫技巧:阅读源码时基于一组快捷键,让我们知道身在何方!