主要用mobilenetV2识别光图像

1．本课题的研究内容、重点及难点
本毕设将以一个经典的轻量化卷积神经网络——MobileNet为研究对象，探索从MobileNet模型训练到现场可编程门阵列(Field-Programmable Gate Array,FPGA)硬件加速部署的完整流程。通过对模型进行定点化处理，利用FPGA的并行计算资源设计加速器，实现对图像数据的快速分类或识别。
需要研究以下内容：
1）如何利用FPGA的并行计算资源设计加速器；
2）如何从MobileNet模型训练到FPGA硬件加速部署的完整流程；
3）如何在实现对图像数据的快速分类或识别。
本课题的重点在于对MobileNet模型的研究以及从MobileNet模型训练到FPGA硬件加速部署，使其能够对图像数据的快速分类或识别。因为FPGA可以进行并行计算，所以选择将MobileNet模型部署在FPGA上设计加速器；FPGA芯片的计算能力与FPGA芯片的最大计算能力、最大内存带宽相关，因此难点在于如何对模型进行剪枝、量化，使其能在FPGA上加速部署对FPGA硬件加速尤为重要。
2．准备情况（已查阅的参考文献或进行的调研）
针对如何利用FPGA的并行计算资源设计加速器的问题，文献[1]中构建了基于“屋顶线模型”（Roofline Model）的分析性设计方法，将FPGA芯片的最大计算能力视作计算屋顶，另一条代表其最大内存带宽视作带宽屋顶。文献[2]也是基于这种哪里影响性能指标就对哪进行优化的方法，对卷积层和全连接层进行处理，把原本32位浮点数压缩成更短的定点数，关键创新在不同层动态使用不同的精度，避免一刀切导致精度下降。文献[3]则更换角度，提出了一套系统性的设计空间探索方法论，将上述模型整合成一个全局优化问题——在满足FPGA逻辑、内存、带宽等硬件资源约束的前提下，最小化整个CNN的总执行时间。
针对如何从软件模型训练到FPGA硬件加速部署的完整流的问题，文献[4]从算法和架构两个层面，系统性地总结了当时的主流优化技术：从算法层面运用了数据量化和权重减少两个方法；硬件层面计算单元设计、循环展开与并行化和系统级优化三个方法，有效连接了软件和硬件。文献[5]详细的描述了如何将Vivado Design Suite是Xilinx提供的集成开发环境，用于FPGA的设计、验证和实现，涵盖了许多基础性功能。
针对如何在实现对图像数据的快速分类或识别的问题。文献[6]在解决如何让复杂的神经网络模型在手机等移动设备上又快又准地运行，运用了整数运算专用的量化推理方案和带模拟量化的联合训练机制优化。文献[7]作者选择了目标检测模型YOLOv2，旨在通过硬件加速提升其处理速度并显著降低功耗，使其更适合在资源受限的移动或嵌入式平台上应用。文献[8]则进行改进如何让轻量级的目标检测模型 YOLOv3-tiny更高效地在FPGA上运行。文献[9]则需要让机器从海量、高分辨率的真实世界图像中，高效且准确地识别成千上万种不同物体。作者们训练了一个非常大且深的卷积神经网络，也就是后来著名的AlexNet，ReLU激活函数、双GPU并行训练、局部响应归一化、重叠池化、数据增强+Dropout正则化。文献[10]在解决大型模型难以部署在手机、摄像头、无人机、自动驾驶系统等资源受限的设备问题，作者提出了MobileNet架构，它把传统的标准卷积分解为两个步骤：深度卷积：对每个输入通道单独进行滤波。逐点卷积，即1×1卷积：用来组合通道信息，生成新的特征图。并且通过两个超参数控制模型大小与速度，宽度乘子：控制每一层的通道数变“瘦”，降低计算量和参数量；分辨率乘子：降低输入图像和内部特征图的分辨率，进一步减少计算。
参考文献：
[1]Zhang C, Li P, Sun G, et al. Optimizing FPGA-based Accelerator Design 
for Deep Convolutional Neural Networks [C]//FPGA. 2015: 161-170.
[2]Qiu J, Wang J, Yao S, et al. Going Deeper with Embedded FPGA: A 13.79 
GOPs/W Binarized CNN Accelerator [C]//FPGA. 2016. 
[3]Suda N, Chandra V, Dasika G, et al. Throughput-Optimized OpenCL-
based FPGA Accelerator for Large-Scale Convolutional Neural Networks 
[C]//FPGA.2016. 
[4]Guo K, Zeng S, Yu J, et al. A Survey of FPGA-Based Neural Network 
Accelerator [J]. ACM Transactions on Reconfigurable Technology and 
Systems(TRETS), 2019, 12(1): 1-26. 
[5]Xilinx Inc. Vivado Design Suite User Guide: High-Level Synthesis 
[EB/OL]. 2023. 
[6]Jacob B, Kligys S, Chen B, et al. Quantization and Training of Neural 
Networks for Efficient Integer-Arithmetic-Only Inference [C]//CVPR.2018. 
[7]梁宏伟, 白鹏程, 陈建玲, 等. 基于FPGA的YOLOv2加速器设计 [J]. 吉林
大学学报(信息科学版), 2021, 39(2): 186-193.
[8]文成江,王录涛,王奇,等.YOLOv3-tiny的FPGA加速设计与实现[J].计算机
应用与软件,2025,42(09):87-94. 
[9]Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with
Deep Convolutional Neural Networks [J]. Communications of the ACM,
2017,60(6): 84-90. 
[10]Howard A G, Zhu M, Chen B, et al. MobileNets: Efficient Convolutional Neural 
Networks for Mobile Vision Applications [J]. arXiv preprintarXiv:1704.04861, 2017.
3、实施方案、进度实施计划及预期提交的毕业设计资料
1）实施方案 
本课题的总体方案是通过图像输入转化为数据，查找并下载数据集训
练模型，通过算法设计加速器对MobileNet进行定点化处理，对数据进行处理，实现对图像数据的快速分类或识别。
（1）本课题使用了 Matlab仿真，仿真和设计加速器，对MobileNet进行定点化处理。
（2）查找并下载数据集，通过合适、恰当的数据集训练模型。
（3）使用数据处理模块，将图像中的内容进行数据转化。
（4）通过MobileNet对接收到的数据进行比对，对图像进行正确并且快速分类或识别。
（5）对模型进行剪枝量化，使其能够与FPGA芯片的最大计算能力相适应，部署到FPGA，验证是否对图像进行正确并且快速分类或识别。
其整体的流程框图如图1所示：

图 1 MobileNet识别图像的实现框图

2）进度实施计划 
表 1 进度实施计划表
时间段	进度
1-2周	完成查找资料，撰写开题报告和任务书
3周	进行软件运行环境的搭建、
外部环境的搭建
4周	查找合适的数据集和测试图
5-7周	通过Matlab仿真设计
比较出性能良好的算法
8-9周	完成数据集和算法对
轻量化卷积神经网络训练
10周	完成对图像的识别完成
11周	系统调试完成
12-13周	毕业论文的撰写
14周	准备毕设验收和答辩
15周	进行毕设答辩
3)预期提交的毕业设计资料 
(1)一份毕业设计论文； 
(2)一份实物样机。

板卡：PYNQ Z2
目的：识别一个光明显的显示多少和花瓣一样的光瓣
G:\Xilinx\Vivado\2020.1\bin\unwrapped\win64.o\vvgl.exe G:\Xilinx\Vivado\2020.1\bin\vivado.bat


