基于SoC FPGA和CNN模型的动作识别系统设计

动作识别是重要的机器视觉研究领域之一。设计实现基于SoC FPGA和CNN模型的动作识别系统。设计实现流水线型LK光流计算、基于HOG与SVM的行人检测模块;设计实现动态行人检测与静态行人检测结果的融合算法,计算出目标人物所在区域;利用该区域的视频图像和光流场数据,输入CNN模型计算得到目标人物的动作识别结果; 设计指令集架构的NPU单元用于实现CNN模型计算。整个系统基于DE10-Nano开发板进行软硬件协同开发,能够识别“站立”、“行走”、“挥手”和“下蹲”等动作。该系统具有较高的识别率和较强的设计灵活性,方便CNN模型的扩展与修改。