249 lines
8.2 KiB
Python
249 lines
8.2 KiB
Python
"""
|
||
模型量化脚本
|
||
|
||
功能说明:
|
||
1. 将训练好的FP32模型量化为INT8模型
|
||
2. 使用PTQ (Post-Training Quantization) 方法
|
||
3. 支持导出ONNX格式,用于FINN部署
|
||
|
||
量化流程:
|
||
1. 加载训练好的模型
|
||
2. 配置量化参数
|
||
3. 使用校准数据进行量化校准
|
||
4. 转换为量化模型
|
||
5. 保存量化模型和ONNX格式
|
||
|
||
量化收益:
|
||
- 模型大小:减少约75%(FP32 -> INT8)
|
||
- 推理速度:提升2-4倍(取决于硬件)
|
||
- 精度损失:通常<1%(通过校准最小化)
|
||
|
||
FPGA部署说明:
|
||
- ONNX格式可用于FINN工具链
|
||
- INT8量化适合FPGA的定点运算
|
||
- 量化后的模型更适合资源受限的PYNQ Z2
|
||
"""
|
||
import os
|
||
import argparse
|
||
import torch
|
||
import torch.quantization
|
||
from model import create_model
|
||
from dataset import create_dataloaders
|
||
|
||
|
||
def quantize_model(model, data_loader, device):
|
||
"""
|
||
量化模型(PTQ方法)
|
||
|
||
量化流程:
|
||
1. 设置模型为评估模式
|
||
2. 配置量化参数(qconfig)
|
||
3. 准备量化(插入观察器)
|
||
4. 校准(收集激活值统计信息)
|
||
5. 转换为量化模型
|
||
|
||
参数:
|
||
model (nn.Module): 待量化的FP32模型
|
||
data_loader (DataLoader): 校准数据加载器(通常使用验证集)
|
||
device (torch.device): 计算设备
|
||
|
||
返回:
|
||
model_quantized (nn.Module): 量化后的INT8模型
|
||
|
||
量化说明:
|
||
- PTQ (Post-Training Quantization): 训练后量化
|
||
- 不需要重新训练,只需要少量校准数据
|
||
- 使用100个batch进行校准(约3200张图像)
|
||
- 校准过程收集激活值的分布,用于确定量化参数
|
||
|
||
量化参数:
|
||
- 权重:对称量化,INT8范围[-128, 127]
|
||
- 激活:非对称量化,UINT8范围[0, 255]
|
||
"""
|
||
# 设置为评估模式
|
||
# 量化必须在评估模式下进行
|
||
model.eval()
|
||
|
||
# 配置量化参数
|
||
# 'fbgemm': 针对x86 CPU优化的量化后端
|
||
# 注意:PYNQ Z2是ARM架构,实际部署时可能需要使用'qnnpack'
|
||
# 但这里先用fbgemm进行量化,ONNX导出后可以在FPGA上重新量化
|
||
model.qconfig = torch.quantization.get_default_qconfig('fbgemm')
|
||
|
||
# 准备量化
|
||
# inplace=False: 创建模型副本,不修改原模型
|
||
# 这一步会在模型中插入观察器(Observer),用于收集统计信息
|
||
model_prepared = torch.quantization.prepare(model, inplace=False)
|
||
|
||
# 使用校准数据进行量化校准
|
||
print('开始量化校准...')
|
||
with torch.no_grad(): # 禁用梯度计算
|
||
for i, (inputs, _) in enumerate(data_loader):
|
||
# 只使用100个batch进行校准
|
||
# 更多数据可以提高精度,但收益递减
|
||
if i >= 100:
|
||
break
|
||
|
||
# 前向传播,收集激活值统计信息
|
||
inputs = inputs.to(device)
|
||
model_prepared(inputs)
|
||
|
||
# 显示校准进度
|
||
if (i + 1) % 10 == 0:
|
||
print(f'校准进度: {i + 1}/100')
|
||
|
||
# 转换为量化模型
|
||
# 将FP32操作替换为INT8操作
|
||
# 权重和激活值都被量化为INT8/UINT8
|
||
model_quantized = torch.quantization.convert(model_prepared, inplace=False)
|
||
|
||
return model_quantized
|
||
|
||
|
||
def export_onnx(model, save_path, input_size=224):
|
||
"""
|
||
导出ONNX模型
|
||
|
||
ONNX (Open Neural Network Exchange):
|
||
- 开放的神经网络交换格式
|
||
- 支持多种深度学习框架和部署平台
|
||
- FINN工具链使用ONNX作为输入格式
|
||
|
||
参数:
|
||
model (nn.Module): 待导出的模型
|
||
save_path (str): ONNX文件保存路径
|
||
input_size (int): 输入图像大小,默认224
|
||
|
||
导出参数说明:
|
||
- opset_version=11: ONNX算子集版本(FINN支持的版本)
|
||
- do_constant_folding=True: 常量折叠优化
|
||
- dynamic_axes: 支持动态batch size
|
||
"""
|
||
# 创建虚拟输入(用于追踪模型结构)
|
||
# batch_size=1: 单张图像
|
||
# 3: RGB三通道
|
||
# input_size x input_size: 图像尺寸
|
||
dummy_input = torch.randn(1, 3, input_size, input_size)
|
||
|
||
# 导出ONNX模型
|
||
torch.onnx.export(
|
||
model, # 待导出的模型
|
||
dummy_input, # 虚拟输入(用于追踪)
|
||
save_path, # 保存路径
|
||
export_params=True, # 导出模型参数
|
||
opset_version=11, # ONNX算子集版本
|
||
do_constant_folding=True, # 常量折叠优化
|
||
input_names=['input'], # 输入节点名称
|
||
output_names=['output'], # 输出节点名称
|
||
dynamic_axes={ # 动态维度(支持不同batch size)
|
||
'input': {0: 'batch_size'},
|
||
'output': {0: 'batch_size'}
|
||
}
|
||
)
|
||
print(f'ONNX模型已保存到: {save_path}')
|
||
|
||
|
||
def main(args):
|
||
"""
|
||
主函数:执行模型量化流程
|
||
|
||
流程:
|
||
1. 加载训练好的模型
|
||
2. 量化模型
|
||
3. 保存量化模型
|
||
4. (可选)导出ONNX格式
|
||
|
||
参数:
|
||
args: 命令行参数对象
|
||
"""
|
||
# 设置计算设备
|
||
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
|
||
print(f'使用设备: {device}')
|
||
|
||
# 加载校准数据
|
||
# 使用验证集作为校准数据(代表性好,数据量适中)
|
||
print('加载校准数据...')
|
||
_, val_loader = create_dataloaders(
|
||
args.data_dir,
|
||
batch_size=args.batch_size,
|
||
num_workers=args.num_workers
|
||
)
|
||
|
||
# 加载训练好的模型
|
||
print('加载模型...')
|
||
model = create_model(
|
||
num_classes=args.num_classes,
|
||
pretrained=False # 不需要预训练权重,直接加载训练好的权重
|
||
)
|
||
|
||
# 加载模型权重
|
||
checkpoint = torch.load(args.model_path, map_location=device)
|
||
model.load_state_dict(checkpoint['model_state_dict'])
|
||
model = model.to(device)
|
||
|
||
# 显示原始模型大小
|
||
original_size = os.path.getsize(args.model_path) / 1e6
|
||
print(f'原始模型大小: {original_size:.2f} MB')
|
||
|
||
# 量化模型
|
||
print('开始量化...')
|
||
quantized_model = quantize_model(model, val_loader, device)
|
||
|
||
# 保存量化模型
|
||
quantized_path = os.path.join(args.save_dir, 'quantized_model.pth')
|
||
torch.save(quantized_model.state_dict(), quantized_path)
|
||
print(f'量化模型已保存到: {quantized_path}')
|
||
|
||
# 显示量化后模型大小
|
||
quantized_size = os.path.getsize(quantized_path) / 1e6
|
||
print(f'量化模型大小: {quantized_size:.2f} MB')
|
||
print(f'压缩比: {original_size / quantized_size:.2f}x')
|
||
|
||
# 导出ONNX格式(用于FINN部署)
|
||
if args.export_onnx:
|
||
print('\n导出ONNX模型...')
|
||
onnx_path = os.path.join(args.save_dir, 'model.onnx')
|
||
# 注意:导出ONNX时使用原始FP32模型
|
||
# FINN会在自己的工具链中进行量化
|
||
export_onnx(model.cpu(), onnx_path, args.input_size)
|
||
|
||
print('\n量化完成!')
|
||
print(f'量化模型: {quantized_path}')
|
||
if args.export_onnx:
|
||
print(f'ONNX模型: {onnx_path}')
|
||
|
||
|
||
if __name__ == '__main__':
|
||
# 命令行参数解析
|
||
parser = argparse.ArgumentParser(description='量化MobileNetV2模型用于FPGA部署')
|
||
|
||
# 模型相关参数
|
||
parser.add_argument('--model_path', type=str, required=True,
|
||
help='训练好的模型路径(.pth文件)')
|
||
parser.add_argument('--num_classes', type=int, default=10,
|
||
help='分类类别数')
|
||
parser.add_argument('--input_size', type=int, default=224,
|
||
help='输入图像大小')
|
||
|
||
# 数据相关参数
|
||
parser.add_argument('--data_dir', type=str, default='../data/processed',
|
||
help='数据集目录(用于校准)')
|
||
parser.add_argument('--batch_size', type=int, default=32,
|
||
help='批次大小')
|
||
parser.add_argument('--num_workers', type=int, default=4,
|
||
help='数据加载线程数')
|
||
|
||
# 保存相关参数
|
||
parser.add_argument('--save_dir', type=str, default='../data/models',
|
||
help='量化模型保存目录')
|
||
parser.add_argument('--export_onnx', action='store_true',
|
||
help='是否导出ONNX模型(用于FINN部署)')
|
||
|
||
args = parser.parse_args()
|
||
|
||
# 创建保存目录
|
||
os.makedirs(args.save_dir, exist_ok=True)
|
||
|
||
# 执行量化
|
||
main(args)
|