325 lines
11 KiB
Python
325 lines
11 KiB
Python
"""
|
||
MobileNetV2 训练脚本
|
||
|
||
功能说明:
|
||
1. 训练MobileNetV2模型进行光瓣数量分类
|
||
2. 支持预训练权重加载,加速收敛
|
||
3. 使用TensorBoard记录训练过程
|
||
4. 自动保存最佳模型和定期检查点
|
||
|
||
训练流程:
|
||
1. 加载数据集(训练集+验证集)
|
||
2. 创建模型(可选预训练)
|
||
3. 定义损失函数和优化器
|
||
4. 训练循环:训练epoch -> 验证 -> 保存模型
|
||
5. 使用余弦退火学习率调度
|
||
|
||
优化策略:
|
||
- 优化器:Adam(自适应学习率)
|
||
- 学习率调度:CosineAnnealingLR(余弦退火)
|
||
- 正则化:权重衰减(L2正则化)
|
||
- 早停:保存验证集最佳模型
|
||
"""
|
||
import os
|
||
import argparse
|
||
import torch
|
||
import torch.nn as nn
|
||
import torch.optim as optim
|
||
from torch.utils.tensorboard import SummaryWriter
|
||
from tqdm import tqdm
|
||
import time
|
||
|
||
from model import create_model
|
||
from dataset import create_dataloaders
|
||
|
||
|
||
def train_epoch(model, train_loader, criterion, optimizer, device, epoch):
|
||
"""
|
||
训练一个epoch
|
||
|
||
训练流程:
|
||
1. 设置模型为训练模式
|
||
2. 遍历所有训练批次
|
||
3. 前向传播 -> 计算损失 -> 反向传播 -> 更新参数
|
||
4. 统计损失和准确率
|
||
|
||
参数:
|
||
model (nn.Module): 待训练的模型
|
||
train_loader (DataLoader): 训练数据加载器
|
||
criterion (nn.Module): 损失函数
|
||
optimizer (Optimizer): 优化器
|
||
device (torch.device): 训练设备(CPU或GPU)
|
||
epoch (int): 当前epoch编号
|
||
|
||
返回:
|
||
avg_loss (float): 平均训练损失
|
||
accuracy (float): 训练准确率(百分比)
|
||
"""
|
||
# 设置模型为训练模式
|
||
# 训练模式下:Dropout生效,BatchNorm使用当前batch统计量
|
||
model.train()
|
||
|
||
# 初始化统计变量
|
||
running_loss = 0.0 # 累计损失
|
||
correct = 0 # 正确预测数量
|
||
total = 0 # 总样本数量
|
||
|
||
# 使用tqdm显示训练进度条
|
||
pbar = tqdm(train_loader, desc=f'Epoch {epoch}')
|
||
|
||
for inputs, labels in pbar:
|
||
# 将数据移动到指定设备(CPU或GPU)
|
||
inputs, labels = inputs.to(device), labels.to(device)
|
||
|
||
# 清空梯度
|
||
# PyTorch默认会累积梯度,每个batch前需要清零
|
||
optimizer.zero_grad()
|
||
|
||
# 前向传播:计算模型输出
|
||
outputs = model(inputs)
|
||
|
||
# 计算损失
|
||
# CrossEntropyLoss内部包含Softmax,所以outputs是logits
|
||
loss = criterion(outputs, labels)
|
||
|
||
# 反向传播:计算梯度
|
||
loss.backward()
|
||
|
||
# 更新参数:根据梯度更新模型权重
|
||
optimizer.step()
|
||
|
||
# 统计损失
|
||
running_loss += loss.item()
|
||
|
||
# 统计准确率
|
||
# outputs.max(1): 返回每行最大值和索引,索引即为预测类别
|
||
_, predicted = outputs.max(1)
|
||
total += labels.size(0)
|
||
correct += predicted.eq(labels).sum().item()
|
||
|
||
# 更新进度条显示
|
||
pbar.set_postfix({
|
||
'loss': f'{running_loss / (pbar.n + 1):.4f}',
|
||
'acc': f'{100. * correct / total:.2f}%'
|
||
})
|
||
|
||
# 返回平均损失和准确率
|
||
return running_loss / len(train_loader), 100. * correct / total
|
||
|
||
|
||
def validate(model, val_loader, criterion, device):
|
||
"""
|
||
验证模型性能
|
||
|
||
验证流程:
|
||
1. 设置模型为评估模式
|
||
2. 禁用梯度计算(节省内存和计算)
|
||
3. 遍历验证集,计算损失和准确率
|
||
|
||
参数:
|
||
model (nn.Module): 待验证的模型
|
||
val_loader (DataLoader): 验证数据加载器
|
||
criterion (nn.Module): 损失函数
|
||
device (torch.device): 计算设备
|
||
|
||
返回:
|
||
avg_loss (float): 平均验证损失
|
||
accuracy (float): 验证准确率(百分比)
|
||
"""
|
||
# 设置模型为评估模式
|
||
# 评估模式下:Dropout不生效,BatchNorm使用全局统计量
|
||
model.eval()
|
||
|
||
# 初始化统计变量
|
||
running_loss = 0.0
|
||
correct = 0
|
||
total = 0
|
||
|
||
# 禁用梯度计算,节省内存和计算资源
|
||
with torch.no_grad():
|
||
for inputs, labels in tqdm(val_loader, desc='Validating'):
|
||
# 将数据移动到指定设备
|
||
inputs, labels = inputs.to(device), labels.to(device)
|
||
|
||
# 前向传播
|
||
outputs = model(inputs)
|
||
|
||
# 计算损失
|
||
loss = criterion(outputs, labels)
|
||
|
||
# 统计损失
|
||
running_loss += loss.item()
|
||
|
||
# 统计准确率
|
||
_, predicted = outputs.max(1)
|
||
total += labels.size(0)
|
||
correct += predicted.eq(labels).sum().item()
|
||
|
||
# 返回平均损失和准确率
|
||
return running_loss / len(val_loader), 100. * correct / total
|
||
|
||
|
||
def main(args):
|
||
"""
|
||
主训练函数
|
||
|
||
训练流程:
|
||
1. 设置设备(GPU优先)
|
||
2. 加载数据集
|
||
3. 创建模型
|
||
4. 定义损失函数、优化器、学习率调度器
|
||
5. 训练循环
|
||
6. 保存模型
|
||
|
||
参数:
|
||
args: 命令行参数对象
|
||
"""
|
||
# 设置计算设备:优先使用GPU,否则使用CPU
|
||
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
|
||
print(f'使用设备: {device}')
|
||
|
||
# 创建数据加载器
|
||
print('加载数据集...')
|
||
train_loader, val_loader = create_dataloaders(
|
||
args.data_dir,
|
||
batch_size=args.batch_size,
|
||
num_workers=args.num_workers,
|
||
input_size=args.input_size
|
||
)
|
||
print(f'训练集: {len(train_loader.dataset)} 张图像')
|
||
print(f'验证集: {len(val_loader.dataset)} 张图像')
|
||
|
||
# 创建模型
|
||
print('创建模型...')
|
||
model = create_model(
|
||
num_classes=args.num_classes,
|
||
pretrained=args.pretrained, # 是否使用ImageNet预训练权重
|
||
quantized=False # 标准训练,不使用量化感知训练
|
||
)
|
||
model = model.to(device)
|
||
|
||
# 定义损失函数
|
||
# CrossEntropyLoss: 多分类交叉熵损失
|
||
# 内部包含Softmax,所以模型输出应该是logits(未归一化的分数)
|
||
criterion = nn.CrossEntropyLoss()
|
||
|
||
# 定义优化器
|
||
# Adam: 自适应学习率优化器,结合了动量和RMSprop的优点
|
||
# lr: 初始学习率
|
||
# weight_decay: L2正则化系数,防止过拟合
|
||
optimizer = optim.Adam(
|
||
model.parameters(),
|
||
lr=args.lr,
|
||
weight_decay=args.weight_decay
|
||
)
|
||
|
||
# 定义学习率调度器
|
||
# CosineAnnealingLR: 余弦退火学习率调度
|
||
# 学习率按余弦函数从初始值逐渐降低到0
|
||
# T_max: 半个余弦周期的epoch数(通常设为总epoch数)
|
||
scheduler = optim.lr_scheduler.CosineAnnealingLR(
|
||
optimizer,
|
||
T_max=args.epochs
|
||
)
|
||
|
||
# 创建TensorBoard写入器,用于可视化训练过程
|
||
writer = SummaryWriter(log_dir=args.log_dir)
|
||
|
||
# 训练循环
|
||
best_acc = 0.0 # 记录最佳验证准确率
|
||
for epoch in range(1, args.epochs + 1):
|
||
print(f'\n=== Epoch {epoch}/{args.epochs} ===')
|
||
|
||
# 训练一个epoch
|
||
train_loss, train_acc = train_epoch(
|
||
model, train_loader, criterion, optimizer, device, epoch
|
||
)
|
||
|
||
# 在验证集上评估
|
||
val_loss, val_acc = validate(model, val_loader, criterion, device)
|
||
|
||
# 更新学习率
|
||
scheduler.step()
|
||
|
||
# 记录到TensorBoard
|
||
writer.add_scalar('Loss/train', train_loss, epoch)
|
||
writer.add_scalar('Loss/val', val_loss, epoch)
|
||
writer.add_scalar('Accuracy/train', train_acc, epoch)
|
||
writer.add_scalar('Accuracy/val', val_acc, epoch)
|
||
writer.add_scalar('LR', optimizer.param_groups[0]['lr'], epoch)
|
||
|
||
# 打印训练结果
|
||
print(f'训练损失: {train_loss:.4f}, 训练准确率: {train_acc:.2f}%')
|
||
print(f'验证损失: {val_loss:.4f}, 验证准确率: {val_acc:.2f}%')
|
||
|
||
# 保存最佳模型(基于验证准确率)
|
||
if val_acc > best_acc:
|
||
best_acc = val_acc
|
||
torch.save({
|
||
'epoch': epoch,
|
||
'model_state_dict': model.state_dict(),
|
||
'optimizer_state_dict': optimizer.state_dict(),
|
||
'best_acc': best_acc,
|
||
}, os.path.join(args.save_dir, 'best_model.pth'))
|
||
print(f'保存最佳模型 (准确率: {best_acc:.2f}%)')
|
||
|
||
# 定期保存检查点(用于恢复训练)
|
||
if epoch % args.save_freq == 0:
|
||
torch.save({
|
||
'epoch': epoch,
|
||
'model_state_dict': model.state_dict(),
|
||
'optimizer_state_dict': optimizer.state_dict(),
|
||
}, os.path.join(args.save_dir, f'checkpoint_epoch_{epoch}.pth'))
|
||
|
||
# 关闭TensorBoard写入器
|
||
writer.close()
|
||
print(f'\n训练完成! 最佳验证准确率: {best_acc:.2f}%')
|
||
|
||
|
||
if __name__ == '__main__':
|
||
# 命令行参数解析
|
||
parser = argparse.ArgumentParser(description='训练MobileNetV2模型进行光瓣分类')
|
||
|
||
# 数据相关参数
|
||
parser.add_argument('--data_dir', type=str, default='../data/processed',
|
||
help='数据集根目录(包含train和val子目录)')
|
||
parser.add_argument('--num_classes', type=int, default=10,
|
||
help='分类类别数(默认10,对应1-10个光瓣)')
|
||
parser.add_argument('--input_size', type=int, default=224,
|
||
help='输入图像大小(默认224,MobileNetV2标准输入)')
|
||
|
||
# 训练相关参数
|
||
parser.add_argument('--batch_size', type=int, default=32,
|
||
help='批次大小(GPU内存不足时可减小)')
|
||
parser.add_argument('--epochs', type=int, default=50,
|
||
help='训练轮数')
|
||
parser.add_argument('--lr', type=float, default=0.001,
|
||
help='初始学习率')
|
||
parser.add_argument('--weight_decay', type=float, default=1e-4,
|
||
help='权重衰减系数(L2正则化)')
|
||
|
||
# 模型相关参数
|
||
parser.add_argument('--pretrained', action='store_true',
|
||
help='使用ImageNet预训练权重(推荐,收敛更快)')
|
||
|
||
# 系统相关参数
|
||
parser.add_argument('--num_workers', type=int, default=4,
|
||
help='数据加载线程数(CPU核心数的1-2倍)')
|
||
|
||
# 保存相关参数
|
||
parser.add_argument('--save_dir', type=str, default='../data/models',
|
||
help='模型保存目录')
|
||
parser.add_argument('--log_dir', type=str, default='../logs',
|
||
help='TensorBoard日志目录')
|
||
parser.add_argument('--save_freq', type=int, default=10,
|
||
help='保存检查点的频率(每N个epoch保存一次)')
|
||
|
||
args = parser.parse_args()
|
||
|
||
# 创建必要的目录
|
||
os.makedirs(args.save_dir, exist_ok=True)
|
||
os.makedirs(args.log_dir, exist_ok=True)
|
||
|
||
# 开始训练
|
||
main(args)
|