第T8周:Tensorflow实现猫狗识别(1)

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊

具体实现

(一)环境

语言环境:Python 3.10
编 译 器: PyCharm
框 架:

(二)具体步骤
from absl.logging import warning  
import tensorflow as tf  
from tensorflow.python.data import AUTOTUNE  from utils import GPU_ON  
import matplotlib.pyplot as plt  # 第一步:准备环境  
GPU_ON()  # ##########output#############################################  
# Tensorflow Version: 2.10.0# [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]  
# [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]  
# ##########end output##########################################  
# 支持中文  
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来显示中文标签  
plt.rcParams['axes.unicode_minus'] = False     # 用来正常显示负号  import os, PIL, pathlib  # 隐藏警告  
import warnings  
warnings.filterwarnings('ignore')  # 第二步:导入数据  
data_dir = "./datasets/365-7-data"  
data_dir = pathlib.Path(data_dir)  
image_count = len(list(data_dir.glob('*/*')))  
print("图片总数为:", image_count)  
# ########output##############################################  
# 图片总数为: 3400# ########end output##########################################  # 第三步:数据预处理  
batch_size = 8  
img_height, img_width = 224, 224  
train_ds = tf.keras.preprocessing.image_dataset_from_directory(  data_dir,  validation_split=0.2,  subset="training",  seed=123,  image_size=(img_height, img_width),  batch_size=batch_size,  
)  
# ############output##########################################  
# Found 3400 files belonging to 2 classes.  
# Using 2720 files for training.  
##############end output######################################  val_ds = tf.keras.preprocessing.image_dataset_from_directory(  data_dir,  validation_split=0.2,  subset="validation",  seed=123,  image_size=(img_height, img_width),  batch_size=batch_size,  
)  
# ############output##########################################  
# Found 3400 files belonging to 2 classes.  
# Using 680 files for validation.  
# ###############end output##################################  
# 获取名称标签  
class_names = train_ds.class_names  
print(class_names)  
# #################output######################################  
# ['cat', 'dog']  
###################end output###################################  
# 检查一下数据  
for image_batch, labels_batch in train_ds:  print(image_batch.shape)  print(labels_batch.shape)  break  
# #############output########################################  
# (8, 224, 224, 3)  ---每一批8张图片,长224,宽224,RGB彩色通道(3)  
# (8,) --- 标签就是一批8张图片的标签  
# #############end output###################################  
# 预处理  
AUTOTUNE = tf.data.AUTOTUNE  def preprocess_image(image, label):  return (image / 255.0, label)  # 归一化处理  
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)  
val_ds = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)  # cache() ----将数据集缓存到内存当中 加速运行  
# shuffle() ----打乱数据  
# prefetch() ----预取数据,加速运行  
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)  
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)  # 可视化数据  
plt.figure(figsize=(15, 10))    # 创建一个顶层容器,大小是15*20英寸  
for images, labels in train_ds.take(1):  for i in range(8):  # 向当前图添加坐标轴, 我们想在1行显示8张图片,所以是1行8列  ax = plt.subplot(1, 8, i + 1)   print(images[i])  # imshow()--将数据显示为图像,支持的数据类型(M,N)标量数据/(M,N,3)RGB数据/(M,N,4)RGBA数据。本例中是RGB  plt.imshow(images[i])       plt.title(class_names[labels[i]])   # 显示坐标轴标签  plt.axis('off')     # 隐藏所有的轴信息  plt.show()  

image.png

# 第四步:构建VGG16网络模型  
from tensorflow.keras import layers, models, Input  
from tensorflow.keras.models import Model  
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Dense, Flatten, Dropout  def VGG16(nb_classes, input_shape):  input_tensor = Input(shape=input_shape)  # 1st block  x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv1')(input_tensor)  x = Conv2D(64, (3,3), activation='relu', padding='same',name='block1_conv2')(x)  x = MaxPooling2D((2,2), strides=(2,2), name = 'block1_pool')(x)  # 2nd block  x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv1')(x)  x = Conv2D(128, (3,3), activation='relu', padding='same',name='block2_conv2')(x)  x = MaxPooling2D((2,2), strides=(2,2), name = 'block2_pool')(x)  # 3rd block  x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv1')(x)  x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv2')(x)  x = Conv2D(256, (3,3), activation='relu', padding='same',name='block3_conv3')(x)  x = MaxPooling2D((2,2), strides=(2,2), name = 'block3_pool')(x)  # 4th block  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv1')(x)  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv2')(x)  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block4_conv3')(x)  x = MaxPooling2D((2,2), strides=(2,2), name = 'block4_pool')(x)  # 5th block  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv1')(x)  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv2')(x)  x = Conv2D(512, (3,3), activation='relu', padding='same',name='block5_conv3')(x)  x = MaxPooling2D((2,2), strides=(2,2), name = 'block5_pool')(x)  # full connection  x = Flatten()(x)  x = Dense(4096, activation='relu',  name='fc1')(x)  x = Dense(4096, activation='relu', name='fc2')(x)  output_tensor = Dense(nb_classes, activation='softmax', name='predictions')(x)  model = Model(input_tensor, output_tensor)  return model  model=VGG16(1000, (img_width, img_height, 3))  
model.summary()  

image.png

  
# 第五步:编译  
model.compile(loss='sparse_categorical_crossentropy',  # 损失函数  optimizer='adam',                 # 优化函数  metrics=['accuracy'])             # 模型评估的指标,一般是accuracy  
# 第六步:训练模型  
from tqdm import tqdm  
import tensorflow.keras.backend as K  epochs = 10  
lr = 1e-4  # 记录训练数据,方便后面分析  
history_train_loss = []  
history_val_loss = []  
history_train_accuracy = []  
history_val_accuracy = []  for epoch in range(epochs):  train_total = len(train_ds)  val_total = len(val_ds)  """  total: 预期的迭代数目  ncols: 控制进度条宽度  mininterval: 进度条更新最小间隔,以秒为单位(默认为0.1)  """    with tqdm(total=train_total,  desc=f'Epoch {epoch + 1}/{epochs}',  mininterval=1,  ncols=100) as pbar:  lr = lr * 0.92  K.set_value(model.optimizer.lr, lr)  for image, label in train_ds:  history = model.train_on_batch(image, label)  train_loss = history[0]  train_accuracy = history[1]  pbar.set_postfix({  "loss": "%.4f" % train_loss,  "accuracy": "%.4f" % train_accuracy,  "lr": K.get_value(model.optimizer.lr),  })  pbar.update(1)  history_train_loss.append(train_loss)  history_train_accuracy.append(train_accuracy)  print('开始验证!')  with tqdm(total=val_total,  desc=f'Epoch {epoch + 1}/{epochs}',  mininterval=0.3,  ncols=100) as pbar:  for image, label in val_ds:  history = model.test_on_batch(image, label)  val_loss = history[0]  val_accuracy = history[1]  pbar.set_postfix({  "loss": "%.4f" % val_loss,  "accuracy": "%.4f" % val_accuracy  })  pbar.update(1)  history_val_loss.append(val_loss)  history_val_accuracy.append(val_accuracy)  print('结束验证!')  print('验证loss为:%.4f'%val_loss)  print('验证准确率为:%.4f'%val_accuracy)  

image.png

# 第七步:评估模型  [# 采用加载的模型(new_model)来看预测结果  
plt.figure(figsize=(18, 3))  # 图形的宽为18高为5  
plt.suptitle("预测结果展示")  for images, labels in val_ds.take(1):  for i in range(8):  ax = plt.subplot(1, 8, i + 1)  # 显示图片  plt.imshow(images[i].numpy())  # 需要给图片增加一个维度  img_array = tf.expand_dims(images[i], 0)  # 使用模型预测图片中的人物  predictions = model.predict(img_array)  plt.title(class_names[np.argmax(predictions)])  plt.axis("off")  
plt.show()](<epochs_range = range(epochs)plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)plt.plot(epochs_range, history_train_accuracy, label='Training Accuracy')
plt.plot(epochs_range, history_val_accuracy, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')plt.subplot(1, 2, 2)
plt.plot(epochs_range, history_train_loss, label='Training Loss')
plt.plot(epochs_range, history_val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()>) 

  
# 第八步:预测  
import numpy as np  
# 采用加载的模型(new_model)来看预测结果  
plt.figure(figsize=(18, 3))  # 图形的宽为18高为5  
plt.suptitle("预测结果展示")  for images, labels in val_ds.take(1):  for i in range(8):  ax = plt.subplot(1, 8, i + 1)  # 显示图片  plt.imshow(images[i].numpy())  # 需要给图片增加一个维度  img_array = tf.expand_dims(images[i], 0)  # 使用模型预测图片中的人物  predictions = model.predict(img_array)  plt.title(class_names[np.argmax(predictions)])  plt.axis("off")
plt.show()

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/20119.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

【MySQL】数据库基础

1.数据库基本认识 广义上来说数据库是长期存储在磁盘上的数据文件的集合&#xff0c;而MySQL是采用了C/S模式实现的一个网络服务&#xff0c;它由MySQL&#xff08;数据库客户端&#xff09; 、MySQLD &#xff08;数据库服务&#xff09;、磁盘上的数据库文件组成。MySQL服务是…

AWS IAM

一、介绍 1、简介 AWS Identity and Access Management (IAM) 是 Amazon Web Services 提供的一项服务&#xff0c;用于管理 AWS 资源的访问权限。通过 IAM&#xff0c;可以安全地控制用户、组和角色对 AWS 服务和资源的访问权限。IAM 是 AWS 安全模型的核心组成部分&#xf…

windows C#-异步编程场景(二)

等待多个任务完成 你可能发现自己处于需要并行检索多个数据部分的情况。 Task API 包含两种方法(即 Task.WhenAll 和 Task.WhenAny)&#xff0c;这些方法允许你编写在多个后台作业中执行非阻止等待的异步代码。 此示例演示如何为一组 User 捕捉 userId 数据。 private stati…

web——sqliabs靶场——第九关——时间盲注

什么是时间盲注 时间盲注是指基于时间的盲注&#xff0c;也叫延时注入&#xff0c;根据页面的响应时间来判断是否存在注入。 使用sqlmap不同的技术 sqlmap --technique 参数用来设置具体SQL注入技术 B: Boolean-based blind 基于布尔的忙逐步 E:Error-based 报错注入 U&am…

Vue所有图片预加载加上Token请求头信息、图片请求加载鉴权

环境 Vue2、“axios”: “0.18.1”、webpack&#xff1a;“4.46.0”、ant-design-vue: “1.7.8” 描述 项目对安全要求比较高&#xff0c;所有后台返回的图片加载时都要加上token。比如资源图片&#xff0c;拍照打卡的图片&#xff0c;都需要鉴权。如果不带上token参数&…

此电脑中的百度网盘图标无法删除解决方法2024/11/18

教程很详细&#xff0c;直接上步骤 对于这种情况&#xff0c;修改注册表是很麻烦的&#xff0c;眨眼睛在这里推荐这位大佬的开源软件MyComputerManager 点击跳转MyComputerManager下载链接

【模型级联】YOLO-World与SAM2通过文本实现指定目标的零样本分割

《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】 项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…

Postman之变量操作

系列文章目录 Postman之变量操作 1.pm.globals全局变量2.pm.environment环境变量3.pm.collectionVariables集合变量4.pm.variables5.提取数据-设置变量-进行参数化串联使用 postman中分为全局变量、环境变量、集合变量、和普通变量 分别使用pm.globals、pm.environment、pm.co…

linux 常用命令指南(存储分区、存储挂载、docker迁移)

前言&#xff1a;由于目前机器存储空间不够&#xff0c;所以‘斥巨资’加了一块2T的机械硬盘&#xff0c;下面是对linux扩容的一系列操作&#xff0c;包含了磁盘空间的创建、删除&#xff1b;存储挂载&#xff1b;docker迁移&#xff1b;anaconda3迁移等。 一、存储分区 1.1 …

python读取Oracle库并生成API返回Json格式

一、安装必要的库 首先&#xff0c;确保已经安装了以下库&#xff1a; 有网模式 pip install flask pip install gevent pi install cx_Oracle离线模式&#xff1a; 下载地址&#xff1a;https://pypi.org/simple/flask/ # a. Flask Werkzeug-1.0.1-py2.py3-none-any.whl J…

Nature子刊 | 单细胞测序打开发育系统溯源新视角

神经系统是人体最为复杂且最为重要的器官之一。深入理解神经发育对于神经科学研究和再生医学具有举足轻重的作用。但神经元多样性的起源仍是一个亟待解决的难题。日益发展的单细胞测序技术让研究人员们有机会从细胞的异质性入手&#xff0c;对不同细胞类型之间的关联和分化路径…

5G CPE与4G CPE的主要区别有哪些

什么是CPE&#xff1f; CPE是Customer Premise Equipment&#xff08;客户前置设备&#xff09;的缩写&#xff0c;也可称为Customer-side Equipment、End-user Equipment或On-premises Equipment。CPE通常指的是位于用户或客户处的网络设备或终端设备&#xff0c;用于连接用户…

新增道路查询最短路径

一、问题描述 给你一个整数 n 和一个二维整数数组 queries。 有 n 个城市&#xff0c;编号从 0 到 n - 1。初始时&#xff0c;每个城市 i 都有一条单向道路通往城市 i 1&#xff08; 0 < i < n - 1&#xff09;。 queries[i] [ui, vi] 表示新建一条从城市 ui 到城市…

【数据结构】链表解析与实战运用(1.8w字超详细解析)

目录 引言 链表概念及结构 链表的优缺点 链表的分类 1.单向或者双向 2.带头或者不带头 3.带循环或者非循环 单链表接口函数的实现 接口函数一览 创建空节点&打印链表 尾部插入 头部插入 尾部删除 头部删除 查找 在pos位置之后插入节点 在pos位置之前插入节…

Python练习31

Python日常练习 题目&#xff1a; 分别输入两个整数以及一个加减乘除中的算术运算符&#xff0c;输出运算结果&#xff0c; 若输入其它运算符&#xff0c;则退出程序; 例如&#xff1a; 输出格式如下 【输入一个整数&#xff1a;】1 【输入另一个整数&#xff1a;】2 …

uniapp 自定义加载组件,全屏加载,局部加载 (微信小程序)

效果图 全屏加载 页面加载使用 局部加载 列表加载里面使用 使用gif html <template><view><view class"" v-if"typeFullScreen"><view class"loading" v-if"show"><view class""><i…

Mac 修改默认jdk版本

当前会话生效 这里演示将 Java 17 版本降低到 Java 8 查看已安装的 Java 版本&#xff1a; 在终端&#xff08;Terminal&#xff09;中运行以下命令&#xff0c;查看已安装的 Java 版本列表 /usr/libexec/java_home -V设置默认 Java 版本&#xff1a; 找到 Java 8 的安装路…

动态规划-最长公共子序列

题目 最长公共子序列 给定两个字符串 text1 和 text2&#xff0c;返回这两个字符串的最长公共子序列的长度。 一个字符串的 子序列 是指这样一个新的字符串&#xff1a;它是由原字符串在不改变字符的相对顺序的情况下删除某些字符&#xff08;也可以不删除任何字符&#xff0…

nvm安装node遇到的若干问题(vscode找不到npm文件、环境变量配置混乱、npm安装包到D盘)

问题一&#xff1a;安装完nvm后需要做哪些环境变量的配置&#xff1f; 1.打开nvm文件夹下的setting文件&#xff0c;设置nvm路径和安装node路径&#xff0c;并添加镜像。 root: D:\software\nvm-node\nvm path: D:\software\nvm-node\nodejs node_mirror: https://npmmirror.c…

Zookeeper的简单使用Centos环境下

目录 前言 一、ZOokeeper是什么&#xff1f; 二、安装Zookeeper 1.进入官网下载 2.解压到服务器 3.配置文件 三.使用Zookeeper 3.1启动相关指令 3.2其他指令 3.3ACL权限 总结 前言 记录下安装zookeeper的一次经历 一、ZOokeeper是什么&#xff1f; ZooKeeper是一…