12.4深度学习_模型优化和迁移_awanb、tb

一、数据获取方法

1. 开源数据集

​ 免费，成本低

  1. PyTorch： https://pytorch.org/vision/stable/datasets.html

  2. 开源数据集imagenet：https://image-net.org/

  3. Hugging Face数据集：https://huggingface.co/datasets

  4. kaggle数据集下载网址：https://www.kaggle.com/datasets

  5. 各种网站：

    https://public.roboflow.com/

    https://zhuanlan.zhihu.com/p/648720525

    https://www.cvmart.net/dataSets

2. 外包平台

效果好，成本高

外包平台(Amazon Mechanical Turk，阿里众包，百度数据众包,京东微工等)

3.自己采集和标注

质量高、效率低、成本高。

labelimg、labelme工具的使用。

4. 通过网络爬虫获取

爬虫工具

二、数据本地化

​ 使用公开数据集时，会自动保存到本地。如果已下载，就不会重复下载。如果需要以图片的形式保存到本地以方便观察和重新处理，可以按照如下方式处理。

1. 图片本地化

使用一下代码保存图片到本地

dir = os.path.dirname(__file__)
def save2local():trainimgsdir = os.path.join(dir, "MNIST/trainimgs")testimgsdir = os.path.join(dir, "MNIST/testimgs")if not os.path.exists(trainimgsdir):os.makedirs(trainimgsdir)if not os.path.exists(testimgsdir):os.makedirs(testimgsdir)trainset = torchvision.datasets.MNIST(root=datapath,train=True,download=True,transform=transforms.Compose([transforms.ToTensor()]),)for idx, (img, label) in enumerate(trainset):labdir = os.path.join(trainimgsdir, str(label))os.makedirs(labdir, exist_ok=True)pilimg = transforms.ToPILImage()(img)# 保存成单通道的灰度图pilimg = pilimg.convert("L")pilimg.save(os.path.join(labdir, f"{idx}.png"))# 加载测试集testset = torchvision.datasets.MNIST(root=datapath,train=False,download=True,transform=transforms.Compose([transforms.ToTensor()]),)for idx, (img, label) in enumerate(testset):labdir = os.path.join(testimgsdir, str(label))os.makedirs(labdir, exist_ok=True)pilimg = transforms.ToPILImage()(img)# 保存成单通道的灰度图pilimg = pilimg.convert("L")pilimg.save(os.path.join(labdir, f"{idx}.png"))print("所有图片保存成功~~")

2. 加载图片数据集

直接下载的图片文件目录也可以直接使用

trainpath = os.path.join(dir, "MNIST/trainimgs")
trainset = torchvision.datasets.ImageFolder(root=trainpath, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=32, shuffle=True)

3. 本地图片序列化

把本地图片存储为 pickle序列化格式，然后通过 tar格式的形式分发。

#自己写代码：找个学生来讲一下

今天自己把本地的图片进行一个序列化处理。

三、过拟合处理

1. 数据增强

可以使用transform完成对图像的数据增强，防止过拟合发生

​ https://pytorch.org/vision/stable/transforms.html

1.1 数据增强的方法

  1. 随机旋转
    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

  2. 镜像

  3. 缩放

  4. 图像模糊

  5. 裁剪

  6. 翻转

  7. 饱和度、亮度、灰度、色相

  8. 噪声、锐化、颜色反转

  9. 多样本增强

    SamplePairing操作：随机选择两张图片分别经过基础数据增强操作处理后，叠加合成一个新的样本，标签为原样本标签中的一种。

    ①、多样本线性插值：Mixup 标签更平滑

    ②、直接复制：CutMix, Cutout，直接复制粘贴样本

    ③、Mosic：四张图片合并到一起进行训练

    外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

1.2 数据增强的好处

​ 查出更多训练数据：大幅度降低数据采集和标注成本；

​ 提升泛化能力：模型过拟合风险降低，提高模型泛化能力

2. 标准化

3. DROP-OUT

处理过拟合问题的

4. 欠拟合注意事项

欠拟合： 如果模型在训练集和验证集上表现都不够好，考虑增加模型的层级或训练更多的周期。

四、训练过程可视化

1. wandb.ai

可在控制台看到训练进度。

官方文档有清晰简单的代码及思路，直接使用即可：https://wandb.ai/

1.1 安装

pip install wandb

1.2 登录

wandb login

复制平台提供的 API key粘贴回车即可（粘贴之后看不到的）。

1.3 初始化配置

import random# start a new wandb run to track this script
wandb.init(# set the wandb project where this run will be loggedproject="my-awesome-project",# track hyperparameters and run metadataconfig={"learning_rate": 0.02,"architecture": "CNN","dataset": "CIFAR-100","epochs": 10,}
)

1.4 写入训练日志

# log metrics to wandb
wandb.log({"acc": correct / samp_num, "loss": total_loss / samp_num})

1.5 添加模型记录

# 添加wandb的模型记录
wandb.watch(model, log="all", log_graph=True)

1.6 完成

# [optional] finish the wandb run, necessary in notebooks
wandb.finish()

1.7 查看

根据控制台提供的访问地址去查看训练过程数据即可。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

数据简单说明：

  1. Process GPU Power Usage (W): GPU功率使用情况，以瓦特(W)为单位。
  2. Process GPU Power Usage (%): GPU功率使用占GPU总功率的百分比。
  3. Process GPU Memory Allocated (bytes): 分配给训练过程的GPU内存量，以字节为单位。
  4. Process GPU Memory Allocated (%): 分配给训练过程的GPU内存占GPU总内存的百分比。
  5. Process GPU Time Spent Accessing Memory (%): 训练过程中访问GPU内存的时间百分比。
  6. Process GPU Temp (°C): GPU温度，以摄氏度(°C)为单位。

2. Tensor Board

官方推荐的学习文档：

https://pytorch.org/tutorials/intermediate/tensorboard_tutorial.html

2.1 准备工作

导入tensorboard操作模块

from torch.utils.tensorboard import SummaryWriter

指定tensorboard日志保存路径：可以指定多个实例对象

dir = os.path.dirname(__file__)
tbpath = os.path.join(dir, "tensorboard")
# 指定tensorboard日志保存路径
writer = SummaryWriter(log_dir=tbpath)

2.2 保存训练过程曲线

记录训练数据

# 记录训练数据到可视化面板
writer.add_scalar("Loss/train", loss, epoch)
writer.add_scalar("Accuracy/train", acc, epoch)

训练完后记得关闭

writer.close()

2.3 曲线查看

安装：安装的是执行指令，是一个本地化的服务器

pip install tensorboard

在训练完成后，查看训练结果，在当前目录下，打开控制台窗口：

tensorboard --logdir .

控制台会提示一个访问地址，用浏览器直接访问即可。

http://localhost:6006/

2.4 保存网络结构

保存网络结构到tensorboard

# 保存模型结构到tensorboard
writer.add_graph(net, input_to_model=torch.randn(1, 1, 28, 28))
writer.close()

启动tensorboard，在graphs菜单即可看到模型结构

2.5 模型参数可视化

# 获取模型参数并循环记录
params = net.named_parameters()
for name, param in params:writer.add_histogram(f"{name}_{i}", param.clone().cpu().data.numpy(), epoch)

2.6 记录训练数据

tensorboard中的add_image函数用于将图像数据记录到TensorBoard，以便可视化和分析。这对于查看训练过程中生成的图像、调试和理解模型的行为非常有用，如帮助检查预处理是否生效。

#查看预处理的旋转是否生效
for i, data in enumerate(trainloader, 0):inputs, labels = dataif i % 100 == 0:img_grid = torchvision.utils.make_grid(inputs)writer.add_image(f"r_m_{epoch}_{i * 100}", img_grid, epoch * len(trainloader) + i)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/34889.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

网络基础知识

网络基础知识

172.16.24.100这个是ip地址，讲师机的IP地址。IP地址（Internet Protocol Address）是指互联网协议地址，又译为网际协议地址。每台电脑只要联网都会有ip地址。ip地址数量有限，不够给世界上每一台电脑分配ip地址&#xff0…
阅读更多...
漫画之家系统：Spring Boot技术下的漫画发现引擎

漫画之家系统：Spring Boot技术下的漫画发现引擎

4 系统设计 4.1系统设计主要功能 通过市场调研及咨询研究，了解了用户及管理者的使用需求，于是制定了管理员和用户等模块。功能结构图如下所示： 图4-1系统功能结构图 4.2数据库设计 4.2.1数据库设计规范 数据可设计要遵循职责分离原则&#…
阅读更多...
漫画之家系统：Spring Boot框架下的漫画版权保护

漫画之家系统：Spring Boot框架下的漫画版权保护

摘 要 随着信息技术和网络技术的飞速发展，人类已进入全新信息化时代，传统管理技术已无法高效，便捷地管理信息。为了迎合时代需求，优化管理效率，各种各样的管理系统应运而生，各行各业相继进入信息管理时代&a…
阅读更多...
【python rich 超级牛终端中提供富文本和精美格式】

【python rich 超级牛终端中提供富文本和精美格式】

Rich 是一个 Python 库，可以为您在终端中提供富文本和精美格式。 》》》》官方代码和文档《《《《 Rich 的 API 让在终端输出颜色和样式变得很简单。此外，Rich 还可以绘制漂亮的表格、进度条、markdown、语法高亮的源代码以及栈回溯信息（tr…
阅读更多...
【电子设计】WifiESP8266无线通信

【电子设计】WifiESP8266无线通信

硬件 野火STM32开发板 操作系统 FreeRTOS 软件Keil5野火蓝牙模块 ESP8266模块 1. ESP8266 简介 ESP8266 是串口型 WIFI，速度比较低，不能用来传输图像或者视频这些大容量的数据，主要应用于数据量传输比较少的场合，比如温湿度…
阅读更多...
44.5.【C语言】辨析“数组指针”和“指针数组”

44.5.【C语言】辨析“数组指针”和“指针数组”

目录 1.数组指针 2.指针数组 执行结果 底层分析 1.数组指针 从语文的角度理解,"数组"修饰"指针".因此数组指针是指针 例如以下代码 #include <stdio.h> int main() {char a[5] { "ABCDE" };return 0;} 其中a就是数组指针,因为数…
阅读更多...
docker安装victoriametrics(单机版)

docker安装victoriametrics(单机版)

docker安装victoriametrics 1、单机版安装2、victoriametrics增删改查2.1 、插入数据2.1.1 组装数据插入victoriametrics(java代码插入)2.1.2 Prometheus数据插入victoriametrics2.1.3 官网push到victoriametrics写法 2.2 、查询2.2.1 、Instant query&#xff08;即时查询&…
阅读更多...
趣讲TCP三次握手

趣讲TCP三次握手

一、TCP三次握手简介 TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;是一种面向连接的、可靠的、基于字节流的传输层通信协议。在TCP连接中&#xff0c;只有两方进行通信&#xff0c;它使用校验和、确认和重传机制来保证数据的可靠传输。…
阅读更多...
攻防世界 ctf刷题 新手区1-10

攻防世界 ctf刷题 新手区1-10

unserialize3 因为我上个笔记写了 php返序列化 所以先趁热打铁 看这个题目名字 我们就知道是 反序列化呀 因为flag有值所以 我们先输个 111 看看有没有线索 没线索但是这边 有个发现就是他是使用get方式传参的 可能他会把我们的输入 进行传入后台有可能进行反…
阅读更多...
股指期货基差的影响因素有哪些？

股指期货基差的影响因素有哪些？

在股指期货交易中&#xff0c;有一个重要的概念叫做“基差”。简单来说&#xff0c;基差就是股指期货价格与其对应的现货价格之间的差异。比如&#xff0c;我们现在有IC2401股指期货&#xff0c;它挂钩的是中证500指数。如果IC2401的价格是5244&#xff0c;而中证500指数的价格…
阅读更多...
【单片机基础知识】MCU三种启动方式(Boot选择)[主Flash/系统存储器(BootLoader)/嵌入式SRAM]——老版

【单片机基础知识】MCU三种启动方式(Boot选择)[主Flash/系统存储器(BootLoader)/嵌入式SRAM]——老版

请跳转到最新版&#xff1a; 【单片机开发】MCU三种启动方式(Boot选择)[主Flash/系统存储器(BootLoader)/嵌入式SRAM]-CSDN博客 参考资料&#xff1a; MCU的三种启动方式 - EdgeAI Lab 立芯嵌入式的视频 在SRAM中运行代码 - EdgeAI Lab 利用 Boot 选择不同的启动方式&…
阅读更多...
frp内网穿透的配置与设置

frp内网穿透的配置与设置

FRP&#xff08;Fast Reverse Proxy&#xff09;是一个高性能的反向代理应用&#xff0c;可以实现内网穿透功能。它帮助你将内网的服务暴露到公网&#xff0c;无需公网IP和端口映射&#xff0c;非常适合需要穿透防火墙、NAT的场景。以下是 FRP 内网穿透的配置和设置方法。 ###…
阅读更多...
图数据库 | 13、图数据库架构设计——高性能计算架构再续

图数据库 | 13、图数据库架构设计——高性能计算架构再续

书接上文 图数据库 | 12、图数据库架构设计——高性能计算架构​​​​​​。昨天老夫就图数据库架构设计中的 实时图计算系统架构、图数据库模式与数据模型、核心引擎如何处理不同的数据类型、图计算引擎中的数据结构 这四块内容进行了展开讲解&#xff0c;今儿继续往下、往深…
阅读更多...
一、web基础和http协议

一、web基础和http协议

前言 https://www.baidu.com/&#xff1a;URL&#xff08;是一种万维网寻址网址&#xff09; https://&#xff1a;协议&#xff0c;加密的http&#xff0c;加密的超文本传输协议&#xff0c;在数据传输之前要通过整数进行身份验证&#xff0c;验证通过才可以进行数据传输。 …
阅读更多...
基于java+SpringBoot+Vue的实验室管理系统设计与实现

基于java+SpringBoot+Vue的实验室管理系统设计与实现

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; Springboot mybatis Maven mysql5.7或8.0等等组成&#x…
阅读更多...
win7 双机调试

win7 双机调试

32位 CMD&#xff1a;关闭指令(开启10-10-12分页) bcdedit /set pae ForceDisable bcdedit /set nx AlwaysOff 开启指令(开启2-9-9-12分页) bcdedit /set pae forceEnable bcdedit /set nx OptIn一件事情是配置好虚拟机&#xff0c;我这里使用…
阅读更多...
Linux进程优先级

Linux进程优先级

1.孤儿进程 父子进程关系中&#xff0c;如果父进程先退出&#xff0c;子进程要被1号进程领养&#xff0c;这个被领养的进程为孤儿进程(1号进程为操作系统)&#xff0c;不领养如果变成僵尸进程就会有弊端&#xff0c;只有父进程和操作系统可以回收子进程&#xff0c;孤儿进程是…
阅读更多...
力扣1401. 圆和矩形是否有重叠

力扣1401. 圆和矩形是否有重叠

用矢量计算&#xff1a; class Solution { public:bool checkOverlap(int radius, int xCenter, int yCenter, int x1, int y1, int x2, int y2) {//矩形中心float Tx(float)(x1x2)/2;float Ty(float)(y1y2)/2;//强行进行对称操作&#xff0c;只考虑第一象限if(xCenter<Tx)…
阅读更多...
GESP202303 一级【长方形面积】题解（AC）

GESP202303 一级【长方形面积】题解（AC）

》》》点我查看「视频」详解》》》 AC_Code #include <bits/stdc.h> using namespace std;int main() {int n;cin >> n;int cnt 0;for(int i 1; i < n; i )for(int j i; j < n; j )if(i * j n)cnt ;cout << cnt;return 0; }》》》点我查看「视频」…
阅读更多...
QT 中 QMessageBox 的简单用法

QT 中 QMessageBox 的简单用法

效果 思路 // 创建一个question弹出对话框&#xff0c;添加两个按钮&#xff1a;Yes和NoQMessageBox *box new QMessageBox(QMessageBox::Question, "提示", "确认删除的信息吗&#xff1f;", QMessageBox::Yes | QMessageBox::No, this);box->button(…
阅读更多...
最新文章

Copyright @ 2022~2023