240 lines
8.0 KiB
Python
240 lines
8.0 KiB
Python
"""
|
||
数据集加载和预处理模块
|
||
|
||
功能说明:
|
||
1. LightImageDataset: 自定义数据集类,用于加载光图像数据
|
||
2. get_transforms: 数据预处理和增强函数
|
||
3. create_dataloaders: 创建训练和验证数据加载器
|
||
|
||
数据组织格式:
|
||
data/processed/
|
||
├── train/ # 训练集
|
||
│ ├── class_0/ # 第1类(1个光瓣)
|
||
│ ├── class_1/ # 第2类(2个光瓣)
|
||
│ └── ...
|
||
└── val/ # 验证集
|
||
├── class_0/
|
||
├── class_1/
|
||
└── ...
|
||
|
||
数据增强策略:
|
||
- 训练集:随机翻转、旋转、颜色抖动
|
||
- 验证集:仅调整大小和归一化
|
||
"""
|
||
import os
|
||
import torch
|
||
from torch.utils.data import Dataset, DataLoader
|
||
from torchvision import transforms
|
||
from PIL import Image
|
||
import numpy as np
|
||
|
||
|
||
class LightImageDataset(Dataset):
|
||
"""
|
||
光图像数据集类
|
||
|
||
用途:加载大气湍流影响下的光束传输图像数据集
|
||
|
||
数据说明:
|
||
- 每个类别对应不同数量的光瓣(1-10个)
|
||
- 图像格式:PNG/JPG/JPEG
|
||
- 类别索引:按文件夹名称排序自动分配(class_0=0, class_1=1, ...)
|
||
|
||
参数:
|
||
root_dir (str): 数据集根目录路径(train或val)
|
||
transform (callable): 图像预处理变换函数
|
||
train (bool): 是否为训练集,默认True(用于区分训练/验证模式)
|
||
"""
|
||
def __init__(self, root_dir, transform=None, train=True):
|
||
self.root_dir = root_dir
|
||
self.transform = transform
|
||
self.train = train
|
||
|
||
# 存储所有图像路径和对应的标签
|
||
self.images = [] # 图像文件路径列表
|
||
self.labels = [] # 对应的类别标签列表
|
||
|
||
# 遍历数据集目录,加载所有图像路径和标签
|
||
if os.path.exists(root_dir):
|
||
# sorted确保类别顺序一致:class_0, class_1, ..., class_9
|
||
for class_idx, class_name in enumerate(sorted(os.listdir(root_dir))):
|
||
class_path = os.path.join(root_dir, class_name)
|
||
|
||
# 只处理目录(跳过文件)
|
||
if os.path.isdir(class_path):
|
||
# 遍历该类别下的所有图像文件
|
||
for img_name in os.listdir(class_path):
|
||
# 只加载图像文件(支持png, jpg, jpeg格式)
|
||
if img_name.lower().endswith(('.png', '.jpg', '.jpeg')):
|
||
self.images.append(os.path.join(class_path, img_name))
|
||
self.labels.append(class_idx)
|
||
|
||
def __len__(self):
|
||
"""返回数据集大小"""
|
||
return len(self.images)
|
||
|
||
def __getitem__(self, idx):
|
||
"""
|
||
获取单个样本
|
||
|
||
参数:
|
||
idx (int): 样本索引
|
||
|
||
返回:
|
||
image (Tensor): 预处理后的图像张量
|
||
label (int): 类别标签
|
||
"""
|
||
# 获取图像路径和标签
|
||
img_path = self.images[idx]
|
||
label = self.labels[idx]
|
||
|
||
# 加载图像并转换为RGB格式
|
||
# convert('RGB'): 确保图像是3通道RGB格式(处理灰度图或RGBA图)
|
||
image = Image.open(img_path).convert('RGB')
|
||
|
||
# 应用数据预处理变换(如果提供)
|
||
if self.transform:
|
||
image = self.transform(image)
|
||
|
||
return image, label
|
||
|
||
|
||
def get_transforms(input_size=224, augment=True):
|
||
"""
|
||
获取数据预处理变换
|
||
|
||
数据预处理流程:
|
||
1. 调整图像大小到统一尺寸
|
||
2. (训练集)应用数据增强
|
||
3. 转换为Tensor
|
||
4. 归一化到ImageNet统计值
|
||
|
||
参数:
|
||
input_size (int): 输入图像大小,默认224(MobileNetV2标准输入)
|
||
augment (bool): 是否进行数据增强,默认True
|
||
|
||
返回:
|
||
transform (transforms.Compose): 组合的变换函数
|
||
|
||
数据增强说明:
|
||
- RandomHorizontalFlip: 50%概率水平翻转(光瓣模式具有对称性)
|
||
- RandomRotation(15): 随机旋转±15度(模拟不同角度观测)
|
||
- ColorJitter: 颜色抖动(模拟不同光照条件)
|
||
* brightness=0.2: 亮度变化±20%
|
||
* contrast=0.2: 对比度变化±20%
|
||
* saturation=0.2: 饱和度变化±20%
|
||
|
||
归一化说明:
|
||
- 使用ImageNet数据集的均值和标准差
|
||
- mean=[0.485, 0.456, 0.406]: RGB三通道均值
|
||
- std=[0.229, 0.224, 0.225]: RGB三通道标准差
|
||
- 这是使用预训练模型的标准做法
|
||
"""
|
||
if augment:
|
||
# 训练集:应用数据增强
|
||
transform = transforms.Compose([
|
||
transforms.Resize((input_size, input_size)), # 调整到224x224
|
||
transforms.RandomHorizontalFlip(), # 随机水平翻转
|
||
transforms.RandomRotation(15), # 随机旋转±15度
|
||
transforms.ColorJitter( # 颜色抖动
|
||
brightness=0.2,
|
||
contrast=0.2,
|
||
saturation=0.2
|
||
),
|
||
transforms.ToTensor(), # 转换为Tensor [0,1]
|
||
transforms.Normalize( # 归一化到ImageNet统计值
|
||
mean=[0.485, 0.456, 0.406],
|
||
std=[0.229, 0.224, 0.225]
|
||
)
|
||
])
|
||
else:
|
||
# 验证集/测试集:仅基本预处理,不增强
|
||
transform = transforms.Compose([
|
||
transforms.Resize((input_size, input_size)),
|
||
transforms.ToTensor(),
|
||
transforms.Normalize(
|
||
mean=[0.485, 0.456, 0.406],
|
||
std=[0.229, 0.224, 0.225]
|
||
)
|
||
])
|
||
|
||
return transform
|
||
|
||
|
||
def create_dataloaders(data_dir, batch_size=32, num_workers=4, input_size=224):
|
||
"""
|
||
创建训练和验证数据加载器
|
||
|
||
功能说明:
|
||
- 自动加载train和val子目录的数据
|
||
- 训练集启用数据增强和shuffle
|
||
- 验证集不增强,不shuffle
|
||
|
||
参数:
|
||
data_dir (str): 数据根目录(包含train和val子目录)
|
||
batch_size (int): 批次大小,默认32
|
||
num_workers (int): 数据加载线程数,默认4
|
||
input_size (int): 输入图像大小,默认224
|
||
|
||
返回:
|
||
train_loader (DataLoader): 训练数据加载器
|
||
val_loader (DataLoader): 验证数据加载器
|
||
|
||
DataLoader参数说明:
|
||
- shuffle: 训练集True(打乱顺序),验证集False(保持顺序)
|
||
- num_workers: 多线程加载数据,加速训练
|
||
- pin_memory: True时将数据固定在内存中,加速GPU传输
|
||
* 有GPU时建议开启
|
||
* 无GPU时会有警告但不影响使用
|
||
|
||
使用示例:
|
||
train_loader, val_loader = create_dataloaders(
|
||
data_dir='../data/processed',
|
||
batch_size=16,
|
||
num_workers=4
|
||
)
|
||
|
||
# 迭代训练数据
|
||
for images, labels in train_loader:
|
||
# images: [batch_size, 3, 224, 224]
|
||
# labels: [batch_size]
|
||
pass
|
||
"""
|
||
# 获取训练集和验证集的变换函数
|
||
train_transform = get_transforms(input_size, augment=True) # 训练集:增强
|
||
val_transform = get_transforms(input_size, augment=False) # 验证集:不增强
|
||
|
||
# 创建训练数据集
|
||
train_dataset = LightImageDataset(
|
||
os.path.join(data_dir, 'train'),
|
||
transform=train_transform,
|
||
train=True
|
||
)
|
||
|
||
# 创建验证数据集
|
||
val_dataset = LightImageDataset(
|
||
os.path.join(data_dir, 'val'),
|
||
transform=val_transform,
|
||
train=False
|
||
)
|
||
|
||
# 创建训练数据加载器
|
||
train_loader = DataLoader(
|
||
train_dataset,
|
||
batch_size=batch_size,
|
||
shuffle=True, # 训练时打乱数据顺序
|
||
num_workers=num_workers,
|
||
pin_memory=True # 固定内存,加速GPU传输
|
||
)
|
||
|
||
# 创建验证数据加载器
|
||
val_loader = DataLoader(
|
||
val_dataset,
|
||
batch_size=batch_size,
|
||
shuffle=False, # 验证时保持顺序
|
||
num_workers=num_workers,
|
||
pin_memory=True
|
||
)
|
||
|
||
return train_loader, val_loader
|