b站小土堆PyTorch视频学习笔记（CIFAR10数据集分类实例）

1、准备数据集并查看数据集长度 

train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))

 2、利用DataLoader加载数据集

train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)

batch_size=64：一次读取64张图片

3、搭建神经网络

卷积是提取特征：通过卷积核提取特征（卷积核的个数=out_chennl数;j卷积核的大小随机设置）

池化是压缩特征：降低特征的数据量/剔除冗余,取池化核对应格子中最明显的一个格子（比如通过池化可以将4k画质变为720P画质）

最大池化不改变chennl数，卷积会改变chennl数

输入层的图片：3通道，像素个数/大小：32*32

  1. 进行第一次卷积（卷积核为5）：输入通道为3，输出通道为32，像素个数/大小：32*32
  2. 进行最大池化（池化核为2）：通道不变：32，像素个数/大小：16*16
  3.  进行第二次卷积（卷积核为5）：输入通道为32，输出通道为32，像素个数/大小：16*16
  4.  进行最大池化（池化核为2）：通道不变：32，像素个数/大小：8*8
  5. 进行第三次卷积（卷积核为5）：输入通道为32，输出通道为64，像素个数/大小：8*8
  6. 进行最大池化（池化核为2）：通道不变：64，像素个数/大小：4*4
  7. 进行展平（通俗理解就是将矩阵形式的像素点变为向量形式的像素点）

 一共有64*4*4个像素点 

      8.进行一次全连接：输入为1024压缩为64

      9.进行第二次全连接：输入为64压缩为10

复杂版 

简化版

利用了Sequential让模型更简化了 

class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2), MaxPool2d(2),Flatten(),  Linear(1024, 64),  Linear(64, 10)  )def forward(self,x):x = self.model1(x)return x

将该模型单独放到一个py文件中

from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoaderclass Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return x
if __name__ == '__main__':tudui = Tudui()## 验证网络的正确性input = torch.ones([64,3,32,32])output = tudui(input)## 看输出的尺寸是不是自己想要的print(output.shape)

 

torch.ones是什意思？可查看下面的文章

张量转换

from model_tudui import *：指调用自己创建的model_tudui.py文件中的模型

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss：{}".format(total_test_loss))

输出为：

改进代码将上面的结果在tensorBoder中展示出来：

import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()print("整体测试集上的Loss：{}".format(total_test_loss))writer.add_scalar("test_loss", loss.item(), total_test_step)total_test_step = total_test_step + 1
writer.close()

在终端输入：

conda activate pytorch5
tensorboard --logdir="D:\python_project\pythonProject\logs_train" --port=6008

在浏览器打开网址：

进一步优化：可以让模型 保存，并且显示测试集的正确率

###保存每一轮训练结果

torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
import torch
import torchvision
from torch import nn
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriterfrom model_tudui import *
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
## 准备数据集train_data = torchvision.datasets.CIFAR10(root="./data", train=True, transform=torchvision.transforms.ToTensor(), download=True)
test_data = torchvision.datasets.CIFAR10(root="./data", train=False, transform=torchvision.transforms.ToTensor(), download=True)
train_data_size = len(train_data)
test_data_size = len(test_data)
## 数据集长度：训练集的长度为：50000；测试集的长度为：10000
## 字符串格式化“XXX{}”.format(变量)
print("训练集的长度为：{}".format(train_data_size))
print("测试集的长度为：{}".format(test_data_size))##利用DataLoader加载数据集
train_dataloader = DataLoader(train_data, batch_size=64)
test_dataloader = DataLoader(test_data, batch_size=64)## 搭建神经网络
tudiu = Tudui()
# 损失函数:用的交叉熵
loss_fn = nn.CrossEntropyLoss()
# 优化器
# optimizer = torch.optim.SGD(tudiu.parameters(), lr=0.01)
##或者下面
learning_rate = 1e-2
optimizer = torch.optim.SGD(tudiu.parameters(), learning_rate)
## 设置训练模型的一些参数
#记录训练的次数
total_train_step = 0
## 记录测试的次数
total_test_step = 0
# 训练的轮数
writer = SummaryWriter("logs_train")
epoch = 10
for i in range(epoch):print("第{}轮训练开始".format(i+1))# 训练步骤开始for data in train_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)###output是什么##优化器调优optimizer.zero_grad()## 将模型参数的梯度归零loss.backward() ##反向传播，计算当前梯度optimizer.step()##更新参数值total_train_step = total_train_step +1if total_train_step % 100 ==0:print("训练次数:{},loss:{}".format(total_train_step, loss))## loss可以写为loss.item()##item会把tensor数据值转化为真实数据writer.add_scalar("train_loss", loss.item(), total_train_step)###怎么知道模型是不是训练好了，要求测试集的准确率，并对模型进行调优## 测试开始total_test_loss = 0total_accuracy = 0with torch.no_grad():###是一个用于禁用梯度的上下文管理器：不会拿测试集调整模型for data in test_dataloader:imgs, targets = dataoutputs = tudiu(imgs)loss = loss_fn(outputs, targets)total_test_loss = total_test_loss + loss.item()accuracy = (outputs.argmax(1) == targets).sum()total_accuracy = total_accuracy + accuracyprint("整体测试集上的Loss：{}".format(total_test_loss))print("整体测试集上的正确率为；{}".format(total_accuracy/test_data_size))writer.add_scalar("test_loss", loss.item(), total_test_step)writer.add_scalar("test_accuracy", total_accuracy/test_data_size,total_test_step )total_test_step = total_test_step + 1##保存每一轮训练的结果torch.save(tudiu, "tudiu_{}".format(i))print("模型已经保存")
writer.close()

####随便找一张图来尝试

测试代码：

import torchvision
from PIL import Image
import torch
import torchvision
from torch import nn
from torch.nn import Conv2d, MaxPool2d, Flatten, Linear, Sequential
from torch.utils.data import DataLoader
image_path = "imgs/dog.png"
image = Image.open(image_path)
print(image)
image = image.convert('RGB')
###由于改图片的大小为size=1120x856；通道为mode=RGBA（png格式为4个通道） ；而建立的tudiu模型要求输入的图片大小为32*32，且通道转化为三通道
## Resize:输入什么数据类型就输出什么数据类型
##torchvision.transforms.Resize((32, 32))->获得了一个PIL的images
transform = torchvision.transforms.Compose([torchvision.transforms.Resize((32, 32)),torchvision.transforms.ToTensor()])image = transform(image)
print(image.shape)###图片变成了想要的### 导入网络模型
class Tudui(nn.Module):def __init__(self):super(Tudui, self).__init__()self.model1 = Sequential(  ###Conv2d(3, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 32, 5, padding=2),MaxPool2d(2),Conv2d(32, 64, 5, padding=2),MaxPool2d(2),Flatten(),Linear(1024, 64),Linear(64, 10))def forward(self,x):x = self.model1(x)return xmodel = torch.load("tudiu_9")
print(model)
image = torch.reshape(image, (1, 3, 32, 32))
model.eval()
with torch.no_grad():##简化操作，不需要再训练模型只需要测试模型output = model(image)
print(output)
output1 = output.argmax(1)
print(output1)

注明:该模型相对简单没有用到非线性变化

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.xdnf.cn/news/1143.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

相关文章

ESP8266 连接 MQTT 服务器EMQX 连接MQTTX

ESP8266 连接 MQTT 服务器EMQX 连接MQTTX

目录 1.先用有一台自己的云服务器 2. 使用FinalShell连接阿里云云服务器ECS 3.安装宝塔 4.在云服务器打开8888端口 5.使用外网面板地址打开宝塔面板 6.安装Docker 7.下载emqx 8.打开emqxWeb 界面 9.下载MQTTX 10.EMQX加一个客户端 11.开始通信 12.加入单片机ESP8266 …
阅读更多...
开源代码管理平台Gitlab如何本地化部署并实现公网环境远程访问私有仓库

开源代码管理平台Gitlab如何本地化部署并实现公网环境远程访问私有仓库

文章目录 前言1. 下载Gitlab2. 安装Gitlab3. 启动Gitlab4. 安装cpolar5. 创建隧道配置访问地址6. 固定GitLab访问地址6.1 保留二级子域名6.2 配置二级子域名 7. 测试访问二级子域名 前言 本文主要介绍如何在Linux CentOS8 中搭建GitLab私有仓库并且结合内网穿透工具实现在公网…
阅读更多...
【1个月速成Java】基于Android平台开发个人记账app学习日记——第4天，注册登录功能设计

【1个月速成Java】基于Android平台开发个人记账app学习日记——第4天，注册登录功能设计

24.11.03 1.修改项目目录 从今天开始将正式进行功能的设计，首先需要对原来的项目结构进行修改，主要是添加新的文件夹用于存放新的文件。下面进行展示和讲解： 我用红圈圈出了新添加的文件夹，介绍下它们都是干啥的： da…
阅读更多...
论文 | PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES

论文 | PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES

1. 背景信息 在信息检索领域，传统的方法往往依赖于大量的标注数据来训练模型，以便在各种任务中表现良好。然而，许多实际应用中的监督数据是有限的，尤其是在不同的检索任务中。最近的研究开始关注如何从一个拥有丰富监督数据的任务…
阅读更多...
IDEA 取消参数名称提示、IDEA如何去掉变量类型提醒

IDEA 取消参数名称提示、IDEA如何去掉变量类型提醒

解决办法 1.File—>Setting–>Editor—>Inlay Hints—>Parameter names—> Java—>Parameters with names that are cont 取消勾选，点击Apply 2.File—>Setting–>Editor—>Inlay Hints—>Parameter names—> Java—>‘New’…
阅读更多...
three.js 智慧城市扫光效果

three.js 智慧城市扫光效果

城市扫光效果在线预览 import * as THREE from three import { OrbitControls } from three/examples/jsm/controls/OrbitControls.js import { GLTFLoader } from three/examples/jsm/loaders/GLTFLoader.js import { DRACOLoader } from three/examples/jsm/loaders/DRACOLoa…
阅读更多...
vscode插件-08 Golang

vscode插件-08 Golang

文章目录 Go安装其他必须软件 Go Go语言环境，只需安装这一个插件。然后通过vscode命令下载安装其他go环境需要的内容。 程序调试，需要创建.vscode文件夹并编写launch.json文件。 安装其他必须软件 ctrlshiftp，调出命令面板，输入…
阅读更多...
开源一款前后端分离的企业级网站内容管理系统，支持站群管理、多平台静态化，多语言、全文检索的源码

开源一款前后端分离的企业级网站内容管理系统，支持站群管理、多平台静态化，多语言、全文检索的源码

大家好，我是一颗甜苞谷，今天分享一款前后端分离的企业级网站内容管理系统，支持站群管理、多平台静态化，多语言、全文检索的源码。 前言 在当今的数字化时代，企业网站和个人博客已成为信息传播和品牌建设的重要渠道。…
阅读更多...
数字身份发展趋势前瞻：去中心化身份

数字身份发展趋势前瞻：去中心化身份

去中心化身份（Decentralized Identity，DID）是数字身份管理领域的一个重要的发展趋势。通过区块链和分布式账本技术（DLT），去中心化身份赋予用户更多对其个人信息的控制权，同时减少对传统中心化认…
阅读更多...
ELK-01-kibana安装

ELK-01-kibana安装

文章目录 前言一、下载解压二、修改配置三、启动四、浏览器打开网页总结 前言 elasticsearch安装请参考：https://blog.csdn.net/smdai/article/details/142461237 kibana文档：https://github.com/elastic/kibana/tree/v8.15.1 kibana下载：ht…
阅读更多...
SpringMvc参数传递

SpringMvc参数传递

首先对于post请求汉字乱码需要进行过滤器配置 普通参数传递 直接传递 客户端传递的属性名与我的bean中的函数参数名相同 映射传递RequestParam("XXX") 在我们方法参数中定义一个与客户端属性名一致 并绑定参数 POJO实体类传递 嵌套POJO传递 数组likes参数传递…
阅读更多...
IDEA切换窗口快捷键失效

IDEA切换窗口快捷键失效

问题描述： 在idea中，如果切换窗口的快捷键（Alt Tab）失效了，可以通过清除缓存的方式修复
阅读更多...
idea git 设置Local Changes窗口

idea git 设置Local Changes窗口

【File】—>【Settings】—>【Version Control】—>【Commit】，取消勾线【Use non-modal commit interface】
阅读更多...
无人机光电识别跟踪算法！

无人机光电识别跟踪算法！

一、算法概述 无人机光电识别跟踪算法结合了可见光和红外成像技术，通过光学系统收集目标的光学信息，并将其转换为电信号进行处理和分析。该算法能够实现对目标的快速、准确识别与追踪，极大提升了无人机在复杂环境下的作业能力和效率。 二、…
阅读更多...
hdl_graph_slam|Start|运行环境搭建|运行官方数据集

hdl_graph_slam|Start|运行环境搭建|运行官方数据集

开发环境 Ubuntu18.04melodic在Ubuntu18.04上安装版本为melodic的ROS开发环境 编译hdl_graph_slam mkdir -p hdl_graph_slam_ws/src cd hdl_graph_slam_ws catkin_make cd hdl_graph_slam_ws/src git clone https://github.com/koide3/hdl_global_localization.git git clon…
阅读更多...
从0到1构建一个RAG检索增强系统

从0到1构建一个RAG检索增强系统

RAG（Retrieve Augment Generation，检索增强）是“驯服”大语言模型的主要手段之一。它允许大语言模型在从固定的数据库中抽取相关内容的基础上生成答案，从而限制随意发挥，提升答案的可靠性。 核心组件： RA…
阅读更多...
第五篇: 使用Python和BigQuery进行电商数据分析与可视化

第五篇: 使用Python和BigQuery进行电商数据分析与可视化

使用Python和BigQuery进行电商数据分析与可视化 大数据分析对于电商业务的洞察至关重要。在这篇文章中，我们将使用Python结合Google BigQuery来分析电商数据集，以最畅销商品和平均订单价格最高的前10位客户为主题，展示如何通过数据可视化提供…
阅读更多...
无线无源振动温度传感器应用实例

无线无源振动温度传感器应用实例

本产品是专为设备故障监测、设备健康管理的应用场景设计的一款无源、无线振动温度复合传感器，可以对设备进行状态监测和故障诊断，实现设备的安全监测和预测性维护，避 免非计划停机，降低运维的时间和成本。 lora无线温振一体传感器…
阅读更多...
IDEA2024下安装kubernetes插件并配置进行使用

IDEA2024下安装kubernetes插件并配置进行使用

【1】安装插件 其实2024.2.3下默认已经安装了kubernetes插件，如果你发现自己IDEA中没有，在市场里面检索并下载即可。 【2】kubernetes配置 ① 前置工作 首先你要准备一个config文件和一个kubectl.exe 。 config文件类似如下： apiVersi…
阅读更多...
MATLAB/Simulink学习|在Simulink中调用C语言-03使用C Function 实现PI运算(使用模块自定义代码)

MATLAB/Simulink学习|在Simulink中调用C语言-03使用C Function 实现PI运算(使用模块自定义代码)

在前两篇博客中，介绍了如何使用C Function实现比例运算和积分运算，这篇博客将介绍如何实现PI运算，实际上是在前两篇博客的基础上完成的。 添加CFunction 端口和参数 共有两个输入端口，分别是参考Ref和反馈Fbk。一个输出端口Out。…
阅读更多...
最新文章

Copyright @ 2022~2023