Files

325 lines
11 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""
MobileNetV2 训练脚本
功能说明:
1. 训练MobileNetV2模型进行光瓣数量分类
2. 支持预训练权重加载,加速收敛
3. 使用TensorBoard记录训练过程
4. 自动保存最佳模型和定期检查点
训练流程:
1. 加载数据集(训练集+验证集)
2. 创建模型(可选预训练)
3. 定义损失函数和优化器
4. 训练循环:训练epoch -> 验证 -> 保存模型
5. 使用余弦退火学习率调度
优化策略:
- 优化器:Adam(自适应学习率)
- 学习率调度:CosineAnnealingLR(余弦退火)
- 正则化:权重衰减(L2正则化)
- 早停:保存验证集最佳模型
"""
import os
import argparse
import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.tensorboard import SummaryWriter
from tqdm import tqdm
import time
from model import create_model
from dataset import create_dataloaders
def train_epoch(model, train_loader, criterion, optimizer, device, epoch):
"""
训练一个epoch
训练流程:
1. 设置模型为训练模式
2. 遍历所有训练批次
3. 前向传播 -> 计算损失 -> 反向传播 -> 更新参数
4. 统计损失和准确率
参数:
model (nn.Module): 待训练的模型
train_loader (DataLoader): 训练数据加载器
criterion (nn.Module): 损失函数
optimizer (Optimizer): 优化器
device (torch.device): 训练设备(CPU或GPU)
epoch (int): 当前epoch编号
返回:
avg_loss (float): 平均训练损失
accuracy (float): 训练准确率(百分比)
"""
# 设置模型为训练模式
# 训练模式下:Dropout生效,BatchNorm使用当前batch统计量
model.train()
# 初始化统计变量
running_loss = 0.0 # 累计损失
correct = 0 # 正确预测数量
total = 0 # 总样本数量
# 使用tqdm显示训练进度条
pbar = tqdm(train_loader, desc=f'Epoch {epoch}')
for inputs, labels in pbar:
# 将数据移动到指定设备(CPU或GPU)
inputs, labels = inputs.to(device), labels.to(device)
# 清空梯度
# PyTorch默认会累积梯度,每个batch前需要清零
optimizer.zero_grad()
# 前向传播:计算模型输出
outputs = model(inputs)
# 计算损失
# CrossEntropyLoss内部包含Softmax,所以outputs是logits
loss = criterion(outputs, labels)
# 反向传播:计算梯度
loss.backward()
# 更新参数:根据梯度更新模型权重
optimizer.step()
# 统计损失
running_loss += loss.item()
# 统计准确率
# outputs.max(1): 返回每行最大值和索引,索引即为预测类别
_, predicted = outputs.max(1)
total += labels.size(0)
correct += predicted.eq(labels).sum().item()
# 更新进度条显示
pbar.set_postfix({
'loss': f'{running_loss / (pbar.n + 1):.4f}',
'acc': f'{100. * correct / total:.2f}%'
})
# 返回平均损失和准确率
return running_loss / len(train_loader), 100. * correct / total
def validate(model, val_loader, criterion, device):
"""
验证模型性能
验证流程:
1. 设置模型为评估模式
2. 禁用梯度计算(节省内存和计算)
3. 遍历验证集,计算损失和准确率
参数:
model (nn.Module): 待验证的模型
val_loader (DataLoader): 验证数据加载器
criterion (nn.Module): 损失函数
device (torch.device): 计算设备
返回:
avg_loss (float): 平均验证损失
accuracy (float): 验证准确率(百分比)
"""
# 设置模型为评估模式
# 评估模式下:Dropout不生效,BatchNorm使用全局统计量
model.eval()
# 初始化统计变量
running_loss = 0.0
correct = 0
total = 0
# 禁用梯度计算,节省内存和计算资源
with torch.no_grad():
for inputs, labels in tqdm(val_loader, desc='Validating'):
# 将数据移动到指定设备
inputs, labels = inputs.to(device), labels.to(device)
# 前向传播
outputs = model(inputs)
# 计算损失
loss = criterion(outputs, labels)
# 统计损失
running_loss += loss.item()
# 统计准确率
_, predicted = outputs.max(1)
total += labels.size(0)
correct += predicted.eq(labels).sum().item()
# 返回平均损失和准确率
return running_loss / len(val_loader), 100. * correct / total
def main(args):
"""
主训练函数
训练流程:
1. 设置设备(GPU优先)
2. 加载数据集
3. 创建模型
4. 定义损失函数、优化器、学习率调度器
5. 训练循环
6. 保存模型
参数:
args: 命令行参数对象
"""
# 设置计算设备:优先使用GPU,否则使用CPU
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'使用设备: {device}')
# 创建数据加载器
print('加载数据集...')
train_loader, val_loader = create_dataloaders(
args.data_dir,
batch_size=args.batch_size,
num_workers=args.num_workers,
input_size=args.input_size
)
print(f'训练集: {len(train_loader.dataset)} 张图像')
print(f'验证集: {len(val_loader.dataset)} 张图像')
# 创建模型
print('创建模型...')
model = create_model(
num_classes=args.num_classes,
pretrained=args.pretrained, # 是否使用ImageNet预训练权重
quantized=False # 标准训练,不使用量化感知训练
)
model = model.to(device)
# 定义损失函数
# CrossEntropyLoss: 多分类交叉熵损失
# 内部包含Softmax,所以模型输出应该是logits(未归一化的分数)
criterion = nn.CrossEntropyLoss()
# 定义优化器
# Adam: 自适应学习率优化器,结合了动量和RMSprop的优点
# lr: 初始学习率
# weight_decay: L2正则化系数,防止过拟合
optimizer = optim.Adam(
model.parameters(),
lr=args.lr,
weight_decay=args.weight_decay
)
# 定义学习率调度器
# CosineAnnealingLR: 余弦退火学习率调度
# 学习率按余弦函数从初始值逐渐降低到0
# T_max: 半个余弦周期的epoch数(通常设为总epoch数)
scheduler = optim.lr_scheduler.CosineAnnealingLR(
optimizer,
T_max=args.epochs
)
# 创建TensorBoard写入器,用于可视化训练过程
writer = SummaryWriter(log_dir=args.log_dir)
# 训练循环
best_acc = 0.0 # 记录最佳验证准确率
for epoch in range(1, args.epochs + 1):
print(f'\n=== Epoch {epoch}/{args.epochs} ===')
# 训练一个epoch
train_loss, train_acc = train_epoch(
model, train_loader, criterion, optimizer, device, epoch
)
# 在验证集上评估
val_loss, val_acc = validate(model, val_loader, criterion, device)
# 更新学习率
scheduler.step()
# 记录到TensorBoard
writer.add_scalar('Loss/train', train_loss, epoch)
writer.add_scalar('Loss/val', val_loss, epoch)
writer.add_scalar('Accuracy/train', train_acc, epoch)
writer.add_scalar('Accuracy/val', val_acc, epoch)
writer.add_scalar('LR', optimizer.param_groups[0]['lr'], epoch)
# 打印训练结果
print(f'训练损失: {train_loss:.4f}, 训练准确率: {train_acc:.2f}%')
print(f'验证损失: {val_loss:.4f}, 验证准确率: {val_acc:.2f}%')
# 保存最佳模型(基于验证准确率)
if val_acc > best_acc:
best_acc = val_acc
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
'best_acc': best_acc,
}, os.path.join(args.save_dir, 'best_model.pth'))
print(f'保存最佳模型 (准确率: {best_acc:.2f}%)')
# 定期保存检查点(用于恢复训练)
if epoch % args.save_freq == 0:
torch.save({
'epoch': epoch,
'model_state_dict': model.state_dict(),
'optimizer_state_dict': optimizer.state_dict(),
}, os.path.join(args.save_dir, f'checkpoint_epoch_{epoch}.pth'))
# 关闭TensorBoard写入器
writer.close()
print(f'\n训练完成! 最佳验证准确率: {best_acc:.2f}%')
if __name__ == '__main__':
# 命令行参数解析
parser = argparse.ArgumentParser(description='训练MobileNetV2模型进行光瓣分类')
# 数据相关参数
parser.add_argument('--data_dir', type=str, default='../data/processed',
help='数据集根目录(包含train和val子目录)')
parser.add_argument('--num_classes', type=int, default=10,
help='分类类别数(默认10,对应1-10个光瓣)')
parser.add_argument('--input_size', type=int, default=224,
help='输入图像大小(默认224,MobileNetV2标准输入)')
# 训练相关参数
parser.add_argument('--batch_size', type=int, default=32,
help='批次大小(GPU内存不足时可减小)')
parser.add_argument('--epochs', type=int, default=50,
help='训练轮数')
parser.add_argument('--lr', type=float, default=0.001,
help='初始学习率')
parser.add_argument('--weight_decay', type=float, default=1e-4,
help='权重衰减系数(L2正则化)')
# 模型相关参数
parser.add_argument('--pretrained', action='store_true',
help='使用ImageNet预训练权重(推荐,收敛更快)')
# 系统相关参数
parser.add_argument('--num_workers', type=int, default=4,
help='数据加载线程数(CPU核心数的1-2倍)')
# 保存相关参数
parser.add_argument('--save_dir', type=str, default='../data/models',
help='模型保存目录')
parser.add_argument('--log_dir', type=str, default='../logs',
help='TensorBoard日志目录')
parser.add_argument('--save_freq', type=int, default=10,
help='保存检查点的频率(每N个epoch保存一次)')
args = parser.parse_args()
# 创建必要的目录
os.makedirs(args.save_dir, exist_ok=True)
os.makedirs(args.log_dir, exist_ok=True)
# 开始训练
main(args)