教學優勢(shi)
曙海教育的課程培養了大批受企業歡迎的工程師。大批企業和曙海
建立了良(liang)好的(de)合作關(guan)系。曙海(hai)教育的(de)課程(cheng)在(zai)業內有(you)著響亮(liang)的(de)知名(ming)度。
本課程(cheng)，秉承(cheng)20年積累的(de)(de)教學(xue)品質，以項(xiang)目實現為(wei)導向,老師將會(hui)與您(nin)分享(xiang)設計的(de)(de)全流(liu)程(cheng)以及工具的(de)(de)綜合使用經驗、技巧(qiao)。
課程簡介：
課程目標：
課程大綱：
Xilinx-FPGA人工智能設計與實現技術培訓
1.?演示FPGA?AI項目視頻文件，讓學(xue)員對FPGA AI項目的(de)應用范圍和實現(xian)方法有一個直觀的(de)認(ren)識。
2.?FPGA AI環境搭(da)建。介紹虛(xu)擬機VMware、Ubuntu、Vitis、docker、Vitis AI、CMake、Opencv、XRT和(he)(he)Model Zoo的安(an)裝和(he)(he)環境變量設置。
3.?FPGA?AI開(kai)發原理和(he)流(liu)程。介紹深度學習處理單元DPU、AI優化(hua)器、AI量化(hua)器、AI編譯(yi)器、運行(xing)時XRT、DPU指令(ling)集(ji)等Vitis AI主(zhu)要概念、開(kai)發流(liu)程、專(zhuan)有命令(ling)和(he)API接口。
4.?FPGA AI開(kai)發板介紹和使用。Alveo系列(lie)、Versal系列(lie)、ZynqMP系列(lie)，重點介紹本課(ke)程(cheng)所用開(kai)發板Kria KV260、Ultra96、ZCU104，內容(rong)包括開(kai)發板硬(ying)件接口和連(lian)接、鏡像(xiang)燒錄(lu)、網絡(luo)配(pei)置、通訊軟件和例程(cheng)演示。
5.?Kria KV260 AI開(kai)發板加(jia)速原(yuan)理和(he)(he)(he)自帶例(li)程詳解(jie)。介紹開(kai)發板自帶的(de)兩種(zhong)加(jia)速核Smartcam、Aibox-reid實現原(yuan)理、C++、Python和(he)(he)(he)GStreamer VVAS三(san)種(zhong)語言例(li)程演(yan)示和(he)(he)(he)程序解(jie)析，其中包含VART調用DPU流程和(he)(he)(he)命令，比特流和(he)(he)(he)kernel載入、輸入預處(chu)理、模型運行(xing)和(he)(he)(he)輸出參數后處(chu)理全過程。
1.?KV260 Smartcam硬件平臺制作。全(quan)制作過(guo)程采用(yong)非項目開發形(xing)式Vitis、Vivado設計與(yu)編譯(yi)，介紹makefile、Vitis、Vivado、Tcl批處理文(wen)件，其(qi)中對于涉及到Vitis開發軟件亦做了簡單介紹,也可以用(yong)Vitis或(huo)Vivado Gui界(jie)面打(da)開分析(xi)編譯(yi)。
2.?口罩識(shi)別yolov3和(he)yolov3-tiny模(mo)型(xing)訓練(lian)、PC驗(yan)證和(he)移植KV260全流程(cheng)。這是一個包括模(mo)型(xing)修改、數據(ju)集訓練(lian)、模(mo)型(xing)轉化與(yu)固化、量化與(yu)編譯、鏡(jing)像生成，其訓練(lian)模(mo)型(xing)首(shou)先在PC機上(shang)使用(yong)Keras框架上(shang)進(jin)行驗(yan)證，再將鏡(jing)像放到(dao)KV260上(shang)進(jin)行實操驗(yan)證。并(bing)對其中用(yong)到(dao)的命令、PC機程(cheng)序和(he)FPGA上(shang)程(cheng)序進(jin)行講(jiang)解。
3.?KV260 Vitis AI 1.4 yolov4-tiny模型編(bian)譯生成xmodel，開發(fa)板(ban)后(hou)處理程序解讀，開發(fa)板(ban)實操(cao)x11和hdmi顯示和影響時延因素(su)分析，本節生成的模型也(ye)在下(xia)面的Gstreamer編(bian)程中(zhong)使用。
4.?Ultra96 yolov2-tiny Vitis AI 1.3模(mo)型(xing)轉(zhuan)換與固化(hua)、量化(hua)與編(bian)譯、開發板圖像預處理(li)程序(xu)(xu)、DPU AI調用命令(ling)集和DPU輸(shu)出后(hou)(hou)處理(li)程序(xu)(xu)（包括目(mu)標(biao)(biao)閾(yu)值(zhi)篩選(xuan)、非最大值(zhi)抑制 NMS和目(mu)標(biao)(biao)框繪(hui)制）和目(mu)標(biao)(biao)跟(gen)蹤算(suan)法(fa)程序(xu)(xu)，掌握(wo)yolo模(mo)型(xing)目(mu)標(biao)(biao)識別后(hou)(hou)處理(li)程序(xu)(xu)和用戶算(suan)法(fa)程序(xu)(xu)的(de)編(bian)寫。
1.?介紹多媒體GStreamer框架(jia)和插件(jian)，包括Element、Queue、Tee、Pad、Bin等基本(ben)元素，filesrc、v4l2src、kmssink、h264parse、x264enc等主要模塊，和qp、leaky、control-rate、target-bitrate、periodicity-idr、gop-length等主要參(can)數，并在(zai)PC虛擬機(ji)上(shang)進行(xing)pipeline編程練(lian)習。
2.?介紹Xilinx基于(yu)Gstreamer框架的(de)(de)視(shi)頻開發套件(jian)Vitis Video Analytics SDK?(VVAS)，包(bao)括硬件(jian)與軟件(jian)對(dui)應的(de)(de)層次結構，主(zhu)要組(zu)件(jian)omxh264enc、omxh264dec、ivas_xfilter、ivas_xmetaaffixer等的(de)(de)作(zuo)用與命令格式，并以框圖上逐次增加功能(neng)模塊的(de)(de)方(fang)式講解(jie)VVAS pipeline語言如何編寫，掌握用這種高度集成和方(fang)便的(de)(de)工具(ju)實(shi)現FPGA?AI視(shi)覺應用編程。
3.?利用在前(qian)面的課程(cheng)中編譯得到的yolov2-tiny xmodel模型，使用VVAS編程(cheng)語(yu)言講解編寫目標識別(bie)pipeline, 實現(xian)在KV260上的視頻(pin)文件讀取、圖像預處(chu)理(li)、DPU運行、后處(chu)理(li)、視頻(pin)輸(shu)出和(he)存盤的所(suo)有功能(neng)。
4.?基于(yu)KV260的(de)自(zi)帶人(ren)(ren)臉識別模型(xing)和人(ren)(ren)物跟蹤模型(xing)，分(fen)別講(jiang)解編寫VVAS pipeline人(ren)(ren)臉識別和人(ren)(ren)物跟蹤,輸出顯示(shi)在HDMI上(shang)，同時改(gai)變Gstreamer VVAS參(can)數直觀感受(shou)不同的(de)參(can)數對視(shi)頻帶來的(de)影響，講(jiang)解如(ru)何正確設置Gstreamer VVAS參(can)數。
練習
答疑
