Files

240 lines
8.0 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""
数据集加载和预处理模块
功能说明:
1. LightImageDataset: 自定义数据集类,用于加载光图像数据
2. get_transforms: 数据预处理和增强函数
3. create_dataloaders: 创建训练和验证数据加载器
数据组织格式:
data/processed/
├── train/ # 训练集
│ ├── class_0/ # 第1类(1个光瓣)
│ ├── class_1/ # 第2类(2个光瓣)
│ └── ...
└── val/ # 验证集
├── class_0/
├── class_1/
└── ...
数据增强策略:
- 训练集:随机翻转、旋转、颜色抖动
- 验证集:仅调整大小和归一化
"""
import os
import torch
from torch.utils.data import Dataset, DataLoader
from torchvision import transforms
from PIL import Image
import numpy as np
class LightImageDataset(Dataset):
"""
光图像数据集类
用途:加载大气湍流影响下的光束传输图像数据集
数据说明:
- 每个类别对应不同数量的光瓣(1-10个)
- 图像格式:PNG/JPG/JPEG
- 类别索引:按文件夹名称排序自动分配(class_0=0, class_1=1, ...)
参数:
root_dir (str): 数据集根目录路径(train或val)
transform (callable): 图像预处理变换函数
train (bool): 是否为训练集,默认True(用于区分训练/验证模式)
"""
def __init__(self, root_dir, transform=None, train=True):
self.root_dir = root_dir
self.transform = transform
self.train = train
# 存储所有图像路径和对应的标签
self.images = [] # 图像文件路径列表
self.labels = [] # 对应的类别标签列表
# 遍历数据集目录,加载所有图像路径和标签
if os.path.exists(root_dir):
# sorted确保类别顺序一致:class_0, class_1, ..., class_9
for class_idx, class_name in enumerate(sorted(os.listdir(root_dir))):
class_path = os.path.join(root_dir, class_name)
# 只处理目录(跳过文件)
if os.path.isdir(class_path):
# 遍历该类别下的所有图像文件
for img_name in os.listdir(class_path):
# 只加载图像文件(支持png, jpg, jpeg格式)
if img_name.lower().endswith(('.png', '.jpg', '.jpeg')):
self.images.append(os.path.join(class_path, img_name))
self.labels.append(class_idx)
def __len__(self):
"""返回数据集大小"""
return len(self.images)
def __getitem__(self, idx):
"""
获取单个样本
参数:
idx (int): 样本索引
返回:
image (Tensor): 预处理后的图像张量
label (int): 类别标签
"""
# 获取图像路径和标签
img_path = self.images[idx]
label = self.labels[idx]
# 加载图像并转换为RGB格式
# convert('RGB'): 确保图像是3通道RGB格式(处理灰度图或RGBA图)
image = Image.open(img_path).convert('RGB')
# 应用数据预处理变换(如果提供)
if self.transform:
image = self.transform(image)
return image, label
def get_transforms(input_size=224, augment=True):
"""
获取数据预处理变换
数据预处理流程:
1. 调整图像大小到统一尺寸
2. (训练集)应用数据增强
3. 转换为Tensor
4. 归一化到ImageNet统计值
参数:
input_size (int): 输入图像大小,默认224(MobileNetV2标准输入)
augment (bool): 是否进行数据增强,默认True
返回:
transform (transforms.Compose): 组合的变换函数
数据增强说明:
- RandomHorizontalFlip: 50%概率水平翻转(光瓣模式具有对称性)
- RandomRotation(15): 随机旋转±15度(模拟不同角度观测)
- ColorJitter: 颜色抖动(模拟不同光照条件)
* brightness=0.2: 亮度变化±20%
* contrast=0.2: 对比度变化±20%
* saturation=0.2: 饱和度变化±20%
归一化说明:
- 使用ImageNet数据集的均值和标准差
- mean=[0.485, 0.456, 0.406]: RGB三通道均值
- std=[0.229, 0.224, 0.225]: RGB三通道标准差
- 这是使用预训练模型的标准做法
"""
if augment:
# 训练集:应用数据增强
transform = transforms.Compose([
transforms.Resize((input_size, input_size)), # 调整到224x224
transforms.RandomHorizontalFlip(), # 随机水平翻转
transforms.RandomRotation(15), # 随机旋转±15度
transforms.ColorJitter( # 颜色抖动
brightness=0.2,
contrast=0.2,
saturation=0.2
),
transforms.ToTensor(), # 转换为Tensor [0,1]
transforms.Normalize( # 归一化到ImageNet统计值
mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225]
)
])
else:
# 验证集/测试集:仅基本预处理,不增强
transform = transforms.Compose([
transforms.Resize((input_size, input_size)),
transforms.ToTensor(),
transforms.Normalize(
mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225]
)
])
return transform
def create_dataloaders(data_dir, batch_size=32, num_workers=4, input_size=224):
"""
创建训练和验证数据加载器
功能说明:
- 自动加载train和val子目录的数据
- 训练集启用数据增强和shuffle
- 验证集不增强,不shuffle
参数:
data_dir (str): 数据根目录(包含train和val子目录)
batch_size (int): 批次大小,默认32
num_workers (int): 数据加载线程数,默认4
input_size (int): 输入图像大小,默认224
返回:
train_loader (DataLoader): 训练数据加载器
val_loader (DataLoader): 验证数据加载器
DataLoader参数说明:
- shuffle: 训练集True(打乱顺序),验证集False(保持顺序)
- num_workers: 多线程加载数据,加速训练
- pin_memory: True时将数据固定在内存中,加速GPU传输
* 有GPU时建议开启
* 无GPU时会有警告但不影响使用
使用示例:
train_loader, val_loader = create_dataloaders(
data_dir='../data/processed',
batch_size=16,
num_workers=4
)
# 迭代训练数据
for images, labels in train_loader:
# images: [batch_size, 3, 224, 224]
# labels: [batch_size]
pass
"""
# 获取训练集和验证集的变换函数
train_transform = get_transforms(input_size, augment=True) # 训练集:增强
val_transform = get_transforms(input_size, augment=False) # 验证集:不增强
# 创建训练数据集
train_dataset = LightImageDataset(
os.path.join(data_dir, 'train'),
transform=train_transform,
train=True
)
# 创建验证数据集
val_dataset = LightImageDataset(
os.path.join(data_dir, 'val'),
transform=val_transform,
train=False
)
# 创建训练数据加载器
train_loader = DataLoader(
train_dataset,
batch_size=batch_size,
shuffle=True, # 训练时打乱数据顺序
num_workers=num_workers,
pin_memory=True # 固定内存,加速GPU传输
)
# 创建验证数据加载器
val_loader = DataLoader(
val_dataset,
batch_size=batch_size,
shuffle=False, # 验证时保持顺序
num_workers=num_workers,
pin_memory=True
)
return train_loader, val_loader