大发28
——2023芯航妄想·FPGA师资培训（寒假）
一、运动提要
近年来FPGA新技术生长很是迅速，，，已经脱离了我们在大学课本上看到的那些逻辑电路和状态机，，，生长到以C语言编程HLS工具自动天生HDL，，，可定制天生Linux操作系统平台，，，其上可以运行C++、python等高级语言和人工智能模子、可以使用Gstreamer视频套件工具、可以像软件挪用函数一样的方法挪用硬件加速kernel,为现代技术的高级应用和加速应用提供了很好的支持平台。。。。
FPGA人工智能直观而生动，，，容易调动学生的起劲性，，，又由于其涉及最新的人工智能技术，，，python编程和嵌入式技术，，，学生可以紧跟当今这些热门技术，，，充分实践，，，提升实力而扩大就业面，，，是极好练手的多技术实践平台。。。。
自google开源tensorflow框架以来得以在全世界规模内迅速生长，，，种种框架模子层出不穷，，，现在已经不是AI模子不敷的问题，，，而强调实时性的AI模子落地需要重大算力，，，而芯片有限的算力成为瓶颈，，，而FPGA可以借助HLS技术和Vitis AI工具链将AI模子使用定制DPU（深度学习单位）硬件来实现，，，极大地提高了算力，，，其可定制多线程并行盘算能力使得凌驾了一律功耗GPU算力的数十倍，，，并且具备硬件可升级性，，，比ASIC更顺应一直演进叠代的AI模子，，，为人工智能的落地提供了高效自顺应的硬件实现手段，，，是一片待开垦的蓝海。。。。
由于这是一个跨学科的新领域，，，而原有的人工智强人才着重软件，，，FPGA人才着重硬件，，，都缺乏周全的知识储备，，，我们这次培训就是为相识决这个问题，，，通过对知识系统的完整学习和例程的实操掌握FPGA AI应用所必需的系统知识。。。。
为了实现将人工智能模子移植到FPGA上，，，我们需要先拿到模子或训练模子，，，而大部分硬件或嵌入式工程师没有这方面的知识基础，，，我们需要先学习掌握这个基础知识。。。。因此在我们讲座的第一部分，，，介绍了最基本的人工智能实现原理、AI模子的要害组件卷积层、池化层、激活函数、全毗连层的看法和作用，，，以及怎样用这些组件实现模子的训练和推理，，，资助学员明确消化和掌握人工智能的看法和流程。。。。大发28例程有从网站上直接拿到这些模子和在盘算机上先举行迁徙训练获得这些模子，，，再举行FPGA的移植与实现。。。。
本次研修班将带你重新最先解说实操AI模子原理、组件、训练、框架转换、PC推理、量化编译、镜像制作、平台制作和开发板运行全流程。。。。涉及多种AI框架和编程语言，，，支持视频多媒体框架GStreamer和VVAS管道编程，，，让你以最快的方法熟悉FPGA新技术，，，利便在高校教学中举行新的实验。。。。
二、详细有关事宜
1、【面向工具】高校相关专业西席
2、【主理单位】高云半导体、大发28少年学
3、【培训地点】大发28少年学广东人才作育基地（东莞市松山湖）
4、【培训时间】2023.12.25-2023.12.30（2023.12.24日报到）
5、【授课方法】线下面授
6、【培训用度】4880元/人（交通、食宿自理）
7、【资料相关】电脑自备
三、讲师介绍
王先生，，，博士，，，96年北京交大博士结业进入华为公司研发部，，，某国家轨道交通实验室技术总监、美资Oplink光联通讯公司研发总监、港资英海威光电通讯公司技术总监、美资Lumentum公司高级研发司理、中兴通讯昔时投资额最大的项目第一代SDH 2.5G项目司理，，，在海内外顶尖IT企业恒久从事FPGA相关研发和管理事情，，，现任多家头部高科技工程技术人才培训机构少年学、中际赛威、依元素和电巢FPGA高级讲师，，，终年给各大研究所和企业工程师举行FPGA技术培训，，，授课履历富厚，，，深受学员好评。。。。
四、课程内容
（一）人工智能技术入门解说，，，实现原理、主要参数和PC机实操，，，以及FPGA AI的情形搭建、模子移植、深度学习DPU IP核等。。。。
a)、解说盘算机怎样模拟人脑实现人工智能，，，并由此派生出的主要组件卷积层、池化层、激活函数、全毗连层的看法。。。。
b)、解说训练中的主要看法正向撒播、反向撒播、最常用的梯度下降法、学习率、损失函数和优化函数，，，并通过这些要领和函数怎样控制推理效果。。。。
c)、解说并在PC机上演示mnist的设计、数据集准备、损失函数和优化函数选择、模子训练、后处置惩罚编程和推理测试，，，并最终移植在FPGA开发板上，，，相识整个AI模子tensorflow2.0的设计、训练和移植历程。。。。
d)、以口罩模子和在PC机上实操，，，解说最常用的yolo模子实现原理和模子训练，，，模子框架转换caffe和tensorflow，，，其训练获得的模子在PC机上使用Keras框架上，，，用python举行后处置惩罚编程验证。。。。
e)、FPGA AI情形搭建。。。。介绍虚拟机VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和Model Zoo的装置和情形变量设置。。。。
f)、FPGA AI开发原理和流程。。。。介绍深度学习处置惩罚单位DPU、AI优化器、AI量化器、AI编译器、运行时XRT、DPU指令集等Vitis AI主要看法、开发流程、专有下令和API接口。。。。
g)、介绍FPGA BD设计和DPU IP核，，，以及AI模子框架转换、固化量化编译历程中对模子参数的修改来匹配实现FPGA DPU和处置惩罚速率的要求，，，量化数据集的准备和处置惩罚以及怎样通过剧本编程实现利便快速移植。。。。
（二）FPGA新技术演示、主流开发板和FPGA人工智能应用原理、开发流程和软硬件平台搭建。。。。
a)、FPGA主流Xilinx开发板和芯片系列介绍（作用、结构、命名、接口和资源）。。。。
b)、主流开发板pynq-z2、ultra96、KV260、zcu104开发板例程展收程序介绍，，，其中KV260以三种语言C++、python、vvas展示了多种AI模子人脸识别、姿态识别、人物跟踪、语义支解和目的识别。。。。
c)、FPGA人工智能Vitis AI开发流程，，，支持AI框架caffe、tensorflow和pytorch，，，支持两种runtime vart和onnx，，，Model Zoo 100+模子移植，，，剪枝、固化、量化、编译全工具链。。。。
d)、自从Vitis AI 3.0版，，，增添了对ONNX框架的支持，，，VOE (Vitis AI ONNX Runtime Engine)实现了OP在DPU和CPU间自动分派，，，解决了FPGA AI的痛点。。。。
e)、FPGA AI软硬件情形搭建和情形变量设置，，，介绍VMware、Ubuntu、Vitis、Docker、Vitis AI、CMake、OpenCV、XRT、Petalinux软件。。。。
f)、Kria Som KV260开发板情形搭建、镜像制作、硬件毗连、网络设置、加速应用载入和设置下令。。。。
（三）KV260板载例程解说和Demo，，，显示器和摄像头设置。。。。
解说实操板载加速应用Smartcam和人物跟踪REID python Jupyter Notebook例程，，，显示器、摄像头驱动等盘问设置下令。。。。
（四）以最盛行的yolo模子为例解说实操AI模子下载、迁徙训练、框架转换、PC 验证、剪枝固化、量化编译、镜像制作和硬件平台制作全流程。。。。
a)、建设KV260 Smartcam硬件基本平台和硬件加速平台，，，全历程接纳剧本方法开发，，，也可以用Vitis或Vivado Gui界面翻开操作，，，解说IP核、总线毗连和信号走向。。。。
b)、从网上下载的通用yolov3和yolov3-tiny densenet框架模子，，，转换到keras框架，，，在PC上使用python举行验证和后处置惩罚，，，在PC和FPGA开发板上展示实时图像与视频。。。。
c)、以口罩识别为例，，，从yolov3-tiny模子迁徙训练获得口罩模子、框架转换、固化、量化、编译到开发板AI后处置惩罚程序运行显示的全流程实操。。。。
（五）以yolo与segmentation模子为例解说开发板DPU挪用和AI后处置惩罚程序编写。。。。
DPU指令集、图片张量输入输出转换、yolo模子原理、非最大值抑制、目的框筛选与绘制，，，segmentation模子输出张量与色彩的转换要领、HDMI显示、Ethernet传输和生涯的程序编写。。。。
（六）FPGA视频套件Gstreamer & VVAS原理、参数与管道编程。。。。
a)、视频多媒体GStreamer管道套件看法、语法、装置和PC端应用例程解说实操。。。。
b)、基于Gstreamer框架的Xilinx FPGA视频应用Vitis Video Analytics SDK?(VVAS)开发套件和多种典范VVAS场景编程解说实操。。。。
（七）多语言编程实现AI多功效输出、时延剖析与参数影响、新版Vitis AI ONNX 新功效VOE
a)、划分以C++、python和VVAS多种编程语言在开发板上实现AI模子目的识别、姿态识别、语义支解和重定向REID，，，使用多种前言输入和多种形式输出（HDMI显示、Ethernet传输和生涯文件），，，使用VCU硬件编解码加速。。。。
b)、对程序举行实时剖析，，，找出影响帧率的因素，，，对参数举行实时剖析，，，找出影响同步的参数，，，最终获得正常显示的实时AI效果。。。。
c)、新版本Vitis AI ONNX新特征VOE，，，对AI模子举行量化和天生onnx模子，，，其自动实现OP在DPU与CPU间的分派。。。。以语义支解模子segmentation为例，，，演示解说这个新流程和AI后处置惩罚。。。。
五、课程优势
FPGA AI所接纳的新技术不但可以作为数字逻辑电路古板知识的实践平台，，，可以直接接触到世界最先进的FPGA技术，，，并且能笼罩大学专业课程的知识点，，，既可以作为某一专业的实践平台，，，也可以作为大学时代统一的教学实践平台，，，实现孔子先生提倡的“一以贯之”的教学头脑。。。。
FPGA新技术涉及到多领域的技术融合，，，实现了从硬件到软件，，，从底层到高层的知识意会，，，如下图所示：
FPGA新技术涵盖知识点
