当前位置: 首页 > news >正文

深度学习——TensorBoard的使用

官方文档torch.utils.tensorboard — PyTorch 2.3 documentation

TensorBoard简介

TensorBoard是一个可视化工具,它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候,我们可以设置不同的参数(比如:权重W、偏置B、卷积层数、全连接层数等),使用TensorBoader可以很直观的帮我们进行参数的选择。它通过运行一个本地服务器,来监听6006端口。在浏览器发出请求时,分析训练时记录的数据,绘制训练过程中的图像。

TensorBoard 是Google开发的一个机器学习可视化工具。其主要用于记录机器学习过程,例如:

  • 记录损失变化、准确率变化
  • 记录图片变化、语音变化、文本变化等,例如在做GAN时,可以过一段时间记录一张生成的图片
  • 绘制模型

TensorBoard下载

 pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple

TensorBoard的使用

Pytorch使用Tensorboard主要用到了三个API:

SummaryWriter:这个用来创建一个log文件,TensorBoard面板查看时,也是需要选择查看那个log文件。
add_something: 向log文件里面增添数据。例如可以通过add_scalar增添折线图数据,add_image可以增添图片。
close:当训练结束后,我们可以通过close方法结束log写入。

接下来,我们来模拟记录训练过程中准确率的变化。

首先需要new一个SummaryWriter对象:

from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter('logs')

当运行完该行代码后,可以看到当前目录下生成了一个logs文件夹,并且里面有event日志

此时已经可以在终端启动tensorboard来查看了:

 tensorboard --logdir=logs --port=6007

SummaryWriter中一些子类函数的使用

1.add_scalar():添加标量到SummaryWriter中

(1)参数详解

  • tag(string): Data的指定方式,图表的标题

  • scalar(float or string/blobname): 需要存储的数值

  • global_step(int): 训练的步数(Global step value to record),结合scalar,那就是训练到多少步的时候scalar的数值是多少。

  • walltime(float): (不常用参数,可选)Optional override default walltime(time.time()) with seconds after epoch of event

更直观的参数解释,可以表示为下图的方式:

(2)代码

from torch.utils.tensorboard import SummaryWriterwriter=SummaryWriter("logs")  #将事件文件存储到logs这个文件夹底下#绘制一个y=2x的图像
for i in range(100):writer.add_scalar("y=x",2*i,i)  # writer.add_scalar(图像标题,y轴,x轴)
writer.close()

2.add_image():添加image到SummaryWriter

(1)参数详解

  • tag(string): Data的指定方式,图表的标题

  • img_tensor(torch.Tensor, numpy.array, or string/blobname): 图像数据

  • global_step(int): 训练的步数(Global step value to record),结合img_tensor,那就是训练到多少步的时候img_tensor的图像是什么。

  • walltime(float): (不常用参数,可选)Optional override default walltime(time.time()) with seconds after epoch of event

默认输入图像数据形状:

  • (3, H, W):三通道,高,宽

  • 注意:如果输入数据为 (H, W, 3) 也是可以的,但是需要设置dataformats,如dataformats='HWC'

(2)代码

from torch.utils.tensorboard import SummaryWriter
import numpy as np
from PIL import Imagewriter = SummaryWriter('logs')
image_path = 'img_data/train/ants_image/5650366_e22b7e1065.jpg'
img_PIL = Image.open(image_path)
img_array = np.array(img_PIL)print(type(img_array))
print(img_array.shape)
writer.add_image('test', img_array,2, dataformats="HWC")writer.close()

3.add_images():添加image到SummaryWriter

add_images(tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW')

参数

  • tag(string) -数据标识符

  • img_tensor(torch.Tensor,numpy.array, 或者字符串/blob 名称) -图像数据

  • global_step(int) -要记录的全局步长 值

  • walltime(float) -事件纪元后的可选覆盖默认 walltime (time.time()) 秒

  • dataformats(string) -NCHW、NHWC、CHW、HWC、HW、WH等形式的图像数据格式规范。

将批量图像数据添加到摘要中。

请注意,这需要pillow 包。

形状:

img_tensor:默认为(N,3,W,H) 。如果指定dataformats,则接受其他形状。例如NCHW 或 NHWC。

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10(root='./dataset', train=False, transform=torchvision.transforms.ToTensor())test_loader =DataLoader(dataset=test_data, batch_size=64, shuffle=False, num_workers=0, drop_last=True)
# shuffle 是否打乱   False不打乱
# drop_last 最后一轮数据不够时,是否舍弃 true舍弃#img, target = test_loader[0] TypeError: 'DataLoader' object is not subscriptable
img, target = test_data[0]
print(img.shape)
print(target)writer = SummaryWriter('dataloader')for epoch in range(2):step = 0for data in test_loader:imgs, targets = data# print(imgs.shape)# print(targets)writer.add_images('Epoch:{}'.format(epoch),imgs,step)step = step+1writer.close()

参考

TensorBoard快速入门(Pytorch使用TensorBoard)-CSDN博客

深度学习(二)——TensorBoard的使用 - 码头牛牛 - 博客园 (cnblogs.com)

Pytorch学习笔记之tensorboard - 奥辰 - 博客园 (cnblogs.com)

Python PyTorch SummaryWriter.add_images用法及代码示例 - 纯净天空 (vimsky.com)

http://www.lryc.cn/news/367251.html

相关文章:

  • 【设计模式】观察者模式(行为型)⭐⭐⭐
  • 轻松搞定阿里云域名DNS解析
  • GAT1399协议分析(10)--单图像删除
  • Hudi CLI 安装配置总结
  • 实验八、地址解析协议《计算机网络》
  • Linux系统管理磁盘管理003
  • MLC工具是否适用AMD和ARM场景?如何测试内存性能?
  • NodeJs实现脚本:将xlxs文件输出到json文件中
  • 【启程Golang之旅】网络编程与反射
  • nginx location正则表达式+案例解析
  • 【YOLO系列】YOLOv10论文超详细解读(翻译 +学习笔记)
  • 植物大战僵尸杂交版2024潜艇伟伟迷
  • 白话解读网络爬虫
  • 支持向量机(SVM): 从理论到实践的指南(1)
  • 万字长文|OpenAI模型规范(全文)
  • 微服务架构-正向治理与治理效果
  • normalizing flows vs 直方图规定化
  • vite打包优化常用的技巧及思路
  • k8s学习--kubernetes服务自动伸缩之水平收缩(pod副本收缩)HPA详细解释与案例应用
  • 台式机ubuntu22.04安装nvidia驱动
  • C++ 11 【线程库】【包装器】
  • 可视化数据科学平台在信贷领域应用系列四:决策树策略挖掘
  • 数据查询深分页优化方案
  • Redis的主从复制
  • 网络安全实战基础——实战工具与攻防环境介绍
  • vue2组件封装实战系列之tag组件
  • VBA实战(Excel)(4):实用功能整理
  • nginx mirror流量镜像详细介绍以及实战示例
  • Android14 WMS-窗口添加流程(二)-Server端
  • 【传知代码】DETR[端到端目标检测](论文复现)