Files
light-petal-recognition/pc_training/quantize.py
T

249 lines
8.2 KiB
Python
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""
模型量化脚本
功能说明:
1. 将训练好的FP32模型量化为INT8模型
2. 使用PTQ (Post-Training Quantization) 方法
3. 支持导出ONNX格式,用于FINN部署
量化流程:
1. 加载训练好的模型
2. 配置量化参数
3. 使用校准数据进行量化校准
4. 转换为量化模型
5. 保存量化模型和ONNX格式
量化收益:
- 模型大小:减少约75%(FP32 -> INT8)
- 推理速度:提升2-4倍(取决于硬件)
- 精度损失:通常<1%(通过校准最小化)
FPGA部署说明:
- ONNX格式可用于FINN工具链
- INT8量化适合FPGA的定点运算
- 量化后的模型更适合资源受限的PYNQ Z2
"""
import os
import argparse
import torch
import torch.quantization
from model import create_model
from dataset import create_dataloaders
def quantize_model(model, data_loader, device):
"""
量化模型(PTQ方法)
量化流程:
1. 设置模型为评估模式
2. 配置量化参数(qconfig)
3. 准备量化(插入观察器)
4. 校准(收集激活值统计信息)
5. 转换为量化模型
参数:
model (nn.Module): 待量化的FP32模型
data_loader (DataLoader): 校准数据加载器(通常使用验证集)
device (torch.device): 计算设备
返回:
model_quantized (nn.Module): 量化后的INT8模型
量化说明:
- PTQ (Post-Training Quantization): 训练后量化
- 不需要重新训练,只需要少量校准数据
- 使用100个batch进行校准(约3200张图像)
- 校准过程收集激活值的分布,用于确定量化参数
量化参数:
- 权重:对称量化,INT8范围[-128, 127]
- 激活:非对称量化,UINT8范围[0, 255]
"""
# 设置为评估模式
# 量化必须在评估模式下进行
model.eval()
# 配置量化参数
# 'fbgemm': 针对x86 CPU优化的量化后端
# 注意:PYNQ Z2是ARM架构,实际部署时可能需要使用'qnnpack'
# 但这里先用fbgemm进行量化,ONNX导出后可以在FPGA上重新量化
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
# 准备量化
# inplace=False: 创建模型副本,不修改原模型
# 这一步会在模型中插入观察器(Observer),用于收集统计信息
model_prepared = torch.quantization.prepare(model, inplace=False)
# 使用校准数据进行量化校准
print('开始量化校准...')
with torch.no_grad(): # 禁用梯度计算
for i, (inputs, _) in enumerate(data_loader):
# 只使用100个batch进行校准
# 更多数据可以提高精度,但收益递减
if i >= 100:
break
# 前向传播,收集激活值统计信息
inputs = inputs.to(device)
model_prepared(inputs)
# 显示校准进度
if (i + 1) % 10 == 0:
print(f'校准进度: {i + 1}/100')
# 转换为量化模型
# 将FP32操作替换为INT8操作
# 权重和激活值都被量化为INT8/UINT8
model_quantized = torch.quantization.convert(model_prepared, inplace=False)
return model_quantized
def export_onnx(model, save_path, input_size=224):
"""
导出ONNX模型
ONNX (Open Neural Network Exchange):
- 开放的神经网络交换格式
- 支持多种深度学习框架和部署平台
- FINN工具链使用ONNX作为输入格式
参数:
model (nn.Module): 待导出的模型
save_path (str): ONNX文件保存路径
input_size (int): 输入图像大小,默认224
导出参数说明:
- opset_version=11: ONNX算子集版本(FINN支持的版本)
- do_constant_folding=True: 常量折叠优化
- dynamic_axes: 支持动态batch size
"""
# 创建虚拟输入(用于追踪模型结构)
# batch_size=1: 单张图像
# 3: RGB三通道
# input_size x input_size: 图像尺寸
dummy_input = torch.randn(1, 3, input_size, input_size)
# 导出ONNX模型
torch.onnx.export(
model, # 待导出的模型
dummy_input, # 虚拟输入(用于追踪)
save_path, # 保存路径
export_params=True, # 导出模型参数
opset_version=11, # ONNX算子集版本
do_constant_folding=True, # 常量折叠优化
input_names=['input'], # 输入节点名称
output_names=['output'], # 输出节点名称
dynamic_axes={ # 动态维度(支持不同batch size)
'input': {0: 'batch_size'},
'output': {0: 'batch_size'}
}
)
print(f'ONNX模型已保存到: {save_path}')
def main(args):
"""
主函数:执行模型量化流程
流程:
1. 加载训练好的模型
2. 量化模型
3. 保存量化模型
4. (可选)导出ONNX格式
参数:
args: 命令行参数对象
"""
# 设置计算设备
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'使用设备: {device}')
# 加载校准数据
# 使用验证集作为校准数据(代表性好,数据量适中)
print('加载校准数据...')
_, val_loader = create_dataloaders(
args.data_dir,
batch_size=args.batch_size,
num_workers=args.num_workers
)
# 加载训练好的模型
print('加载模型...')
model = create_model(
num_classes=args.num_classes,
pretrained=False # 不需要预训练权重,直接加载训练好的权重
)
# 加载模型权重
checkpoint = torch.load(args.model_path, map_location=device)
model.load_state_dict(checkpoint['model_state_dict'])
model = model.to(device)
# 显示原始模型大小
original_size = os.path.getsize(args.model_path) / 1e6
print(f'原始模型大小: {original_size:.2f} MB')
# 量化模型
print('开始量化...')
quantized_model = quantize_model(model, val_loader, device)
# 保存量化模型
quantized_path = os.path.join(args.save_dir, 'quantized_model.pth')
torch.save(quantized_model.state_dict(), quantized_path)
print(f'量化模型已保存到: {quantized_path}')
# 显示量化后模型大小
quantized_size = os.path.getsize(quantized_path) / 1e6
print(f'量化模型大小: {quantized_size:.2f} MB')
print(f'压缩比: {original_size / quantized_size:.2f}x')
# 导出ONNX格式(用于FINN部署)
if args.export_onnx:
print('\n导出ONNX模型...')
onnx_path = os.path.join(args.save_dir, 'model.onnx')
# 注意:导出ONNX时使用原始FP32模型
# FINN会在自己的工具链中进行量化
export_onnx(model.cpu(), onnx_path, args.input_size)
print('\n量化完成!')
print(f'量化模型: {quantized_path}')
if args.export_onnx:
print(f'ONNX模型: {onnx_path}')
if __name__ == '__main__':
# 命令行参数解析
parser = argparse.ArgumentParser(description='量化MobileNetV2模型用于FPGA部署')
# 模型相关参数
parser.add_argument('--model_path', type=str, required=True,
help='训练好的模型路径(.pth文件)')
parser.add_argument('--num_classes', type=int, default=10,
help='分类类别数')
parser.add_argument('--input_size', type=int, default=224,
help='输入图像大小')
# 数据相关参数
parser.add_argument('--data_dir', type=str, default='../data/processed',
help='数据集目录(用于校准)')
parser.add_argument('--batch_size', type=int, default=32,
help='批次大小')
parser.add_argument('--num_workers', type=int, default=4,
help='数据加载线程数')
# 保存相关参数
parser.add_argument('--save_dir', type=str, default='../data/models',
help='量化模型保存目录')
parser.add_argument('--export_onnx', action='store_true',
help='是否导出ONNX模型(用于FINN部署)')
args = parser.parse_args()
# 创建保存目录
os.makedirs(args.save_dir, exist_ok=True)
# 执行量化
main(args)