""" 模型量化脚本 功能说明: 1. 将训练好的FP32模型量化为INT8模型 2. 使用PTQ (Post-Training Quantization) 方法 3. 支持导出ONNX格式,用于FINN部署 量化流程: 1. 加载训练好的模型 2. 配置量化参数 3. 使用校准数据进行量化校准 4. 转换为量化模型 5. 保存量化模型和ONNX格式 量化收益: - 模型大小:减少约75%(FP32 -> INT8) - 推理速度:提升2-4倍(取决于硬件) - 精度损失:通常<1%(通过校准最小化) FPGA部署说明: - ONNX格式可用于FINN工具链 - INT8量化适合FPGA的定点运算 - 量化后的模型更适合资源受限的PYNQ Z2 """ import os import argparse import torch import torch.quantization from model import create_model from dataset import create_dataloaders def quantize_model(model, data_loader, device): """ 量化模型(PTQ方法) 量化流程: 1. 设置模型为评估模式 2. 配置量化参数(qconfig) 3. 准备量化(插入观察器) 4. 校准(收集激活值统计信息) 5. 转换为量化模型 参数: model (nn.Module): 待量化的FP32模型 data_loader (DataLoader): 校准数据加载器(通常使用验证集) device (torch.device): 计算设备 返回: model_quantized (nn.Module): 量化后的INT8模型 量化说明: - PTQ (Post-Training Quantization): 训练后量化 - 不需要重新训练,只需要少量校准数据 - 使用100个batch进行校准(约3200张图像) - 校准过程收集激活值的分布,用于确定量化参数 量化参数: - 权重:对称量化,INT8范围[-128, 127] - 激活:非对称量化,UINT8范围[0, 255] """ # 设置为评估模式 # 量化必须在评估模式下进行 model.eval() # 配置量化参数 # 'fbgemm': 针对x86 CPU优化的量化后端 # 注意:PYNQ Z2是ARM架构,实际部署时可能需要使用'qnnpack' # 但这里先用fbgemm进行量化,ONNX导出后可以在FPGA上重新量化 model.qconfig = torch.quantization.get_default_qconfig('fbgemm') # 准备量化 # inplace=False: 创建模型副本,不修改原模型 # 这一步会在模型中插入观察器(Observer),用于收集统计信息 model_prepared = torch.quantization.prepare(model, inplace=False) # 使用校准数据进行量化校准 print('开始量化校准...') with torch.no_grad(): # 禁用梯度计算 for i, (inputs, _) in enumerate(data_loader): # 只使用100个batch进行校准 # 更多数据可以提高精度,但收益递减 if i >= 100: break # 前向传播,收集激活值统计信息 inputs = inputs.to(device) model_prepared(inputs) # 显示校准进度 if (i + 1) % 10 == 0: print(f'校准进度: {i + 1}/100') # 转换为量化模型 # 将FP32操作替换为INT8操作 # 权重和激活值都被量化为INT8/UINT8 model_quantized = torch.quantization.convert(model_prepared, inplace=False) return model_quantized def export_onnx(model, save_path, input_size=224): """ 导出ONNX模型 ONNX (Open Neural Network Exchange): - 开放的神经网络交换格式 - 支持多种深度学习框架和部署平台 - FINN工具链使用ONNX作为输入格式 参数: model (nn.Module): 待导出的模型 save_path (str): ONNX文件保存路径 input_size (int): 输入图像大小,默认224 导出参数说明: - opset_version=11: ONNX算子集版本(FINN支持的版本) - do_constant_folding=True: 常量折叠优化 - dynamic_axes: 支持动态batch size """ # 创建虚拟输入(用于追踪模型结构) # batch_size=1: 单张图像 # 3: RGB三通道 # input_size x input_size: 图像尺寸 dummy_input = torch.randn(1, 3, input_size, input_size) # 导出ONNX模型 torch.onnx.export( model, # 待导出的模型 dummy_input, # 虚拟输入(用于追踪) save_path, # 保存路径 export_params=True, # 导出模型参数 opset_version=11, # ONNX算子集版本 do_constant_folding=True, # 常量折叠优化 input_names=['input'], # 输入节点名称 output_names=['output'], # 输出节点名称 dynamic_axes={ # 动态维度(支持不同batch size) 'input': {0: 'batch_size'}, 'output': {0: 'batch_size'} } ) print(f'ONNX模型已保存到: {save_path}') def main(args): """ 主函数:执行模型量化流程 流程: 1. 加载训练好的模型 2. 量化模型 3. 保存量化模型 4. (可选)导出ONNX格式 参数: args: 命令行参数对象 """ # 设置计算设备 device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') print(f'使用设备: {device}') # 加载校准数据 # 使用验证集作为校准数据(代表性好,数据量适中) print('加载校准数据...') _, val_loader = create_dataloaders( args.data_dir, batch_size=args.batch_size, num_workers=args.num_workers ) # 加载训练好的模型 print('加载模型...') model = create_model( num_classes=args.num_classes, pretrained=False # 不需要预训练权重,直接加载训练好的权重 ) # 加载模型权重 checkpoint = torch.load(args.model_path, map_location=device) model.load_state_dict(checkpoint['model_state_dict']) model = model.to(device) # 显示原始模型大小 original_size = os.path.getsize(args.model_path) / 1e6 print(f'原始模型大小: {original_size:.2f} MB') # 量化模型 print('开始量化...') quantized_model = quantize_model(model, val_loader, device) # 保存量化模型 quantized_path = os.path.join(args.save_dir, 'quantized_model.pth') torch.save(quantized_model.state_dict(), quantized_path) print(f'量化模型已保存到: {quantized_path}') # 显示量化后模型大小 quantized_size = os.path.getsize(quantized_path) / 1e6 print(f'量化模型大小: {quantized_size:.2f} MB') print(f'压缩比: {original_size / quantized_size:.2f}x') # 导出ONNX格式(用于FINN部署) if args.export_onnx: print('\n导出ONNX模型...') onnx_path = os.path.join(args.save_dir, 'model.onnx') # 注意:导出ONNX时使用原始FP32模型 # FINN会在自己的工具链中进行量化 export_onnx(model.cpu(), onnx_path, args.input_size) print('\n量化完成!') print(f'量化模型: {quantized_path}') if args.export_onnx: print(f'ONNX模型: {onnx_path}') if __name__ == '__main__': # 命令行参数解析 parser = argparse.ArgumentParser(description='量化MobileNetV2模型用于FPGA部署') # 模型相关参数 parser.add_argument('--model_path', type=str, required=True, help='训练好的模型路径(.pth文件)') parser.add_argument('--num_classes', type=int, default=10, help='分类类别数') parser.add_argument('--input_size', type=int, default=224, help='输入图像大小') # 数据相关参数 parser.add_argument('--data_dir', type=str, default='../data/processed', help='数据集目录(用于校准)') parser.add_argument('--batch_size', type=int, default=32, help='批次大小') parser.add_argument('--num_workers', type=int, default=4, help='数据加载线程数') # 保存相关参数 parser.add_argument('--save_dir', type=str, default='../data/models', help='量化模型保存目录') parser.add_argument('--export_onnx', action='store_true', help='是否导出ONNX模型(用于FINN部署)') args = parser.parse_args() # 创建保存目录 os.makedirs(args.save_dir, exist_ok=True) # 执行量化 main(args)