MWD天气图像多分类数据集，用于图像分类 总共6个类别，多云，下雨，下雪，雾天，正常天气，共60000张图像数据 

 

 

MWD天气图像多分类数据集 (Multi-Weather Dataset, MWD)

数据集描述

MWD天气图像多分类数据集是一个专门用于天气图像分类的大规模数据集，旨在帮助研究人员和开发者训练和评估基于深度学习的图像分类模型。该数据集包含60000张高质量的图像，覆盖了六种不同的天气条件：多云、下雨、下雪、雾天以及正常天气。这些图像是从各种来源收集的，确保了多样性和代表性，适用于多种应用场景，如智能交通系统、气象预测、自动驾驶等。

数据规模

• 总样本数量：60000张图像
• 类别数量：6个不同类型的天气
• 每类样本数量：假设均匀分布，则每类约10000张图像

图像特性

• 多样化场景：数据集中包括城市、乡村、高速公路等多种环境下的天气图像。
• 多变环境：图像拍摄于不同的时间点（白天、黄昏、夜间），保证了算法对光照变化的适应能力。
• 高质量图像：所有图像都具有高分辨率，确保细节清晰，有助于提高模型的识别精度。

类别列表

1. 多云 (Cloudy)
2. 下雨 (Rainy)
3. 下雪 (Snowy)
4. 雾天 (Foggy)
5. 正常天气 (Clear/Normal)

应用场景

• 智能交通系统：根据实时天气情况调整交通信号灯或提供驾驶建议。
• 气象预测：辅助天气预报，提高短期天气预测的准确性。
• 自动驾驶：增强自动驾驶车辆在不同天气条件下的感知能力。
• 农业监控：监测农田的天气状况，优化灌溉和作物管理。
• 灾害预警：快速识别极端天气条件，及时发出警报。

数据集结构

一个典型的文件夹结构可能如下所示：

1mwd_weather_dataset/
2├── cloudy/
3│   ├── img_00001.jpg
4│   ├── img_00002.jpg
5│   └── ...
6├── rainy/
7│   ├── img_00001.jpg
8│   ├── img_00002.jpg
9│   └── ...
10├── snowy/
11│   ├── img_00001.jpg
12│   ├── img_00002.jpg
13│   └── ...
14├── foggy/
15│   ├── img_00001.jpg
16│   ├── img_00002.jpg
17│   └── ...
18├── clear/
19│   ├── img_00001.jpg
20│   ├── img_00002.jpg
21│   └── ...
22├── train.txt  # 训练集图像路径列表
23├── val.txt  # 验证集图像路径列表
24└── test.txt  # 测试集图像路径列表

数据集划分

• 训练集：通常占80%的数据量，例如48000张图像。
• 验证集：通常占10%的数据量，例如6000张图像。
• 测试集：通常占10%的数据量，例如6000张图像。

标签格式

• 标签存储：每个图像的标签直接反映在其所在的文件夹名称中。
• 示例：
  • cloudy/img_00001.jpg 表示该图像是“多云”类别。
  • rainy/img_00002.jpg 表示该图像是“下雨”类别。

示例代码

以下是一些常用脚本的示例代码，包括数据加载、模型训练和评估。

脚本1: 数据加载

1import os
2from torchvision import datasets, transforms
3from torch.utils.data import DataLoader
4
5def load_data(data_dir, batch_size=32):
6    transform = transforms.Compose([
7        transforms.Resize((224, 224)),
8        transforms.ToTensor(),
9        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
10    ])
11    
12    train_dataset = datasets.ImageFolder(os.path.join(data_dir, 'train'), transform=transform)
13    val_dataset = datasets.ImageFolder(os.path.join(data_dir, 'val'), transform=transform)
14    test_dataset = datasets.ImageFolder(os.path.join(data_dir, 'test'), transform=transform)
15    
16    train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, num_workers=4)
17    val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False, num_workers=4)
18    test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False, num_workers=4)
19    
20    return train_loader, val_loader, test_loader
21
22# 使用示例
23data_dir = 'path/to/mwd_weather_dataset'
24train_loader, val_loader, test_loader = load_data(data_dir)

脚本2: 模型训练

1import torch
2import torch.nn as nn
3import torch.optim as optim
4from torchvision.models import resnet18
5from torch.utils.data import DataLoader
6
7def train_model(model, train_loader, val_loader, num_epochs=10, learning_rate=0.001):
8    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
9    model.to(device)
10    
11    criterion = nn.CrossEntropyLoss()
12    optimizer = optim.Adam(model.parameters(), lr=learning_rate)
13    
14    for epoch in range(num_epochs):
15        model.train()
16        running_loss = 0.0
17        for inputs, labels in train_loader:
18            inputs, labels = inputs.to(device), labels.to(device)
19            
20            optimizer.zero_grad()
21            outputs = model(inputs)
22            loss = criterion(outputs, labels)
23            loss.backward()
24            optimizer.step()
25            
26            running_loss += loss.item()
27        
28        print(f'Epoch {epoch+1}/{num_epochs}, Loss: {running_loss/len(train_loader)}')
29        
30        # 验证
31        model.eval()
32        correct = 0
33        total = 0
34        with torch.no_grad():
35            for inputs, labels in val_loader:
36                inputs, labels = inputs.to(device), labels.to(device)
37                outputs = model(inputs)
38                _, predicted = torch.max(outputs.data, 1)
39                total += labels.size(0)
40                correct += (predicted == labels).sum().item()
41        
42        print(f'Validation Accuracy: {100 * correct / total:.2f}%')
43
44# 使用示例
45model = resnet18(pretrained=True)
46num_classes = 6
47model.fc = nn.Linear(model.fc.in_features, num_classes)
48train_loader, val_loader, _ = load_data('path/to/mwd_weather_dataset')
49train_model(model, train_loader, val_loader)

脚本3: 模型评估

1import torch
2from torch.utils.data import DataLoader
3
4def evaluate_model(model, test_loader):
5    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
6    model.to(device)
7    model.eval()
8    
9    correct = 0
10    total = 0
11    with torch.no_grad():
12        for inputs, labels in test_loader:
13            inputs, labels = inputs.to(device), labels.to(device)
14            outputs = model(inputs)
15            _, predicted = torch.max(outputs.data, 1)
16            total += labels.size(0)
17            correct += (predicted == labels).sum().item()
18    
19    print(f'Test Accuracy: {100 * correct / total:.2f}%')
20
21# 使用示例
22test_loader = load_data('path/to/mwd_weather_dataset')[2]
23evaluate_model(model, test_loader)

项目介绍

项目名称

基于深度学习的天气图像分类系统

项目描述

该项目旨在开发一个基于深度学习的天气图像分类系统，能够准确地识别图像中的天气条件。通过使用上述MWD天气图像多分类数据集，我们将训练一个高效的卷积神经网络（CNN）模型，实现对六种不同天气条件的分类任务。项目的主要目标是提高天气图像分类的准确性和鲁棒性，同时提供易于部署和使用的接口，方便集成到现有的气象预测和智能交通系统中。

项目目标

• 高准确性：在测试集上达到较高的分类准确率。
• 鲁棒性：在不同光照条件和环境背景下保持良好的分类效果。
• 易用性：提供易于部署和使用的接口，方便集成到现有的系统中。
• 可扩展性：支持未来添加新的天气类别。

项目结构

1weather_classification_project/
2├── data/
3│   ├── mwd_weather_dataset/
4│   │   ├── cloudy/
5│   │   ├── rainy/
6│   │   ├── snowy/
7│   │   ├── foggy/
8│   │   ├── clear/
9│   │   ├── train.txt
10│   │   ├── val.txt
11│   │   └── test.txt
12├── models/
13│   ├── resnet18.py  # ResNet18模型定义
14├── trainers/
15│   ├── trainer.py  # 训练器
16├── utils/
17│   ├── utils.py  # 工具函数
18├── scripts/
19│   ├── load_data.py
20│   ├── train_model.py
21│   ├── evaluate_model.py
22├── notebooks/
23│   ├── data_exploration.ipynb  # 数据探索笔记本
24│   ├── model_training.ipynb  # 模型训练笔记本
25│   ├── model_evaluation.ipynb  # 模型评估笔记本
26├── requirements.txt  # 依赖库
27└── README.md  # 项目说明文件

项目流程

1. 数据准备：

   • 确认数据集已划分为训练集、验证集和测试集。
   • 使用load_data.py脚本加载数据。

2. 数据探索：

   • 使用data_exploration.ipynb笔记本探索数据集，了解数据分布和质量。

3. 模型训练：

   • 使用train_model.py脚本训练模型。
   • 根据需要调整超参数和模型配置。

4. 模型评估：

   • 使用evaluate_model.py脚本评估模型性能。
   • 生成可视化结果，比较不同模型的表现。

5. 推理和应用：

   • 将模型集成到实际应用中，实现天气图像分类功能。

6. 结果可视化：

   • 使用可视化工具展示模型的分类结果。

改进方向

如果您已经使用上述方法对该数据集进行了训练，并且认为还有改进空间，以下是一些可能的改进方向：

1. 数据增强：

   • 进一步增加数据增强策略，例如旋转、翻转、缩放、颜色抖动等，以提高模型的泛化能力。
   • 使用混合增强技术，如MixUp、CutMix等，以增加数据多样性。

2. 模型优化：

   • 调整模型超参数，例如学习率、批量大小、优化器等，以找到最佳配置。
   • 尝试使用不同的网络架构，例如ResNet50、VGG、EfficientNet等，以提高分类精度。
   • 引入注意力机制，如SENet、CBAM等，以增强模型对关键区域的关注。

3. 损失函数：

   • 尝试使用不同的损失函数，例如Focal Loss、Label Smoothing等，以改善分类效果。
   • 结合多种损失函数，例如交叉熵损失和正则化损失的组合，以平衡不同类型的任务。

4. 后处理：

   • 使用图像后处理技术，如去噪、锐化等，以提高输入图像的质量。

5. 迁移学习：

   • 使用预训练模型进行微调，利用大规模数据集（如ImageNet）上的预训练权重，加快收敛速度并提高性能。

6. 集成学习：

   • 使用多个模型进行集成学习，通过投票或加权平均的方式提高最终的分类效果。