基于RK3588的NPU案例分享！6T是真的強(qiáng)！

Tronlong--

RK3588NPU簡介

作為瑞芯微新一代旗艦工業(yè)處理器，RK3588 NPU性能可謂十分強(qiáng)大，6TOPS設(shè)計(jì)能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡(luò)推理計(jì)算。這使得RK3588在圖像識別、語音識別、自然語言處理等人工智能領(lǐng)域有著極高的性能表現(xiàn)。

此外，RK3588的NPU還支持多種學(xué)習(xí)框架，包括TensorFlow 、PyTorch、Caffe、MXNet等在人工智能開發(fā)中流行的深度學(xué)習(xí)框架，能夠?yàn)殚_發(fā)者提供豐富的工具和庫，使他們能夠方便地進(jìn)行模型訓(xùn)練和推理，可輕松應(yīng)對各種大數(shù)據(jù)運(yùn)算場景。

RK3588 NPU典型工業(yè)應(yīng)用

圖1

目標(biāo)識別跟蹤：在視頻監(jiān)控和無人駕駛領(lǐng)域，RK3588可提供6TOPS高性能NPU算力，可實(shí)時(shí)處理高清視頻流、目標(biāo)檢測、識別和跟蹤。其強(qiáng)大的計(jì)算能力可滿足復(fù)雜場景下的實(shí)時(shí)處理需求，提高監(jiān)控系統(tǒng)的準(zhǔn)確性和反應(yīng)速度。

AGV機(jī)器人：RK3588的NPU可提供強(qiáng)大的視覺處理能力，可幫助AGV機(jī)器人實(shí)現(xiàn)高效的路徑規(guī)劃和避障，提高運(yùn)輸效率和安全性。

醫(yī)療內(nèi)窺鏡：RK3588的NPU可提供圖像識別和分析的能力，幫助醫(yī)生快速準(zhǔn)確地診斷疾病。其深度學(xué)習(xí)推理能力可輔助醫(yī)生進(jìn)行圖像識別和病灶檢測，提高診斷的準(zhǔn)確性和效率。

高速收費(fèi)終端：RK3588的NPU可提供車牌識別和計(jì)費(fèi)的處理能力，實(shí)現(xiàn)高速路上的無人化收費(fèi)，提高交通效率和安全性。

車載環(huán)視系統(tǒng)：RK3588的NPU可處理多個(gè)攝像頭采集的圖像數(shù)據(jù)，實(shí)現(xiàn)車輛周圍環(huán)境的360度監(jiān)控，幫助車輛進(jìn)行障礙物檢測、碰撞預(yù)警和自動泊車等功能。

RK3588 NPU開發(fā)流程

第一步：模型訓(xùn)練

首先需要收集并準(zhǔn)備訓(xùn)練數(shù)據(jù)，選擇適合的深度學(xué)習(xí)框架（如TensorFlow、PyTorch、Keras等）進(jìn)行模型訓(xùn)練或使用官方提供的模型。

第二步：模型轉(zhuǎn)換

完成模型訓(xùn)練后，使用RKNN-Toolkit2將預(yù)訓(xùn)練模型轉(zhuǎn)換為RK3588 NPU可使用的RKNN模型。這通常涉及到將模型中的計(jì)算圖進(jìn)行適當(dāng)?shù)男薷暮蛢?yōu)化，以適應(yīng)NPU的硬件架構(gòu)和指令集。

第三步：應(yīng)用開發(fā)

基于RKNN API開發(fā)應(yīng)用程序。開發(fā)階段需要根據(jù)具體需求，將轉(zhuǎn)換后的模型集成到應(yīng)用程序中。

圖2 NPU開發(fā)流程框圖

RK3588 NPU開發(fā)案例分享

案例說明

本案例基于RKNN API實(shí)現(xiàn)對圖片中目標(biāo)對象的識別，并將識別結(jié)果以加水印的方式添加至圖像，并保存成圖片文件。案例循環(huán)測試10次，統(tǒng)計(jì)出推理的平均處理耗時(shí)。測試基于創(chuàng)龍科技RK3588工業(yè)評估板TL3588-EVM進(jìn)行。

備注：本案例基于瑞芯微官方例程實(shí)現(xiàn)，進(jìn)行了目錄的重構(gòu)及編譯的簡化,功能邏輯未進(jìn)行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

程序處理流程框圖如下：

案例測試

請通過網(wǎng)線將評估板千兆網(wǎng)口ETH0連接至路由器。

圖5

請將案例bin目錄下的所有文件拷貝至評估板文件系統(tǒng)任意目錄下。

圖6

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對圖片目標(biāo)對象進(jìn)行模型推理。

備注：模型運(yùn)行的時(shí)間會有抖動。

Target#./yolov5_object_detect yolov5s-640-640_rm_transpose_rk3588.rknn bus.jpg

圖7

從輸出信息可知，本案例程序識別出測試圖片包含4個(gè)person和1個(gè)bus對象，運(yùn)行1次模型耗時(shí)為23.905000ms；循環(huán)運(yùn)行10次模型平均耗時(shí)為21.356800ms。

案例程序?qū)�測試圖片的目標(biāo)對象標(biāo)記成功后將輸出名稱為out.jpg的標(biāo)記圖片至當(dāng)前目錄，請將out.jpg文件拷貝至Windows下，并使用PC端相關(guān)軟件對比查看bus.jpg與out.jpg，測試結(jié)果如下所示。

圖8

圖9 bus.jpg

圖10 out.jpg

圖11