【導(dǎo)讀】瑞芯微Rockchip正式發(fā)布旗下AI平臺(tái)三大重要升級,助力端側(cè)AI應(yīng)用:開發(fā)工具支持GUI圖形交互界面、原生支持MXNet和PyTorch、支持Docker部署。
瑞芯微Rockchip正式發(fā)布旗下AI平臺(tái)三大重要升級,助力端側(cè)AI應(yīng)用:開發(fā)工具支持GUI圖形交互界面、原生支持MXNet和PyTorch、支持Docker部署。
一、交互方式更加友好,RKNN-Toolkit新版本將支持圖形界面
經(jīng)過多個(gè)版本的不斷迭代完善,RKNN-Toolkit已日益成熟。瑞芯微即將推出的新版將加入圖形交互界面(GUI),開發(fā)者通過鼠標(biāo)點(diǎn)擊即可完成模型的轉(zhuǎn)換、量化、性能分析、內(nèi)存耗費(fèi)分析等任務(wù),快速完成AI模型在端側(cè)部署的評估和轉(zhuǎn)換工作。特別是對于混合量化等較為復(fù)雜的任務(wù),相比于過去的命令行交互,通過圖形界面可大幅提高效率并降低操作錯(cuò)誤的概率。另外,新版RKNN-Toolkit的圖形界面同樣在Linux/Mac OSX/Windows三個(gè)平臺(tái)上均可運(yùn)行。
二、模型轉(zhuǎn)化更加簡便,RKNN-Toolkit將對MXNet和PyTorch提供原生支持
在過去RKNN-Toolkit通過ONNX來完成MXNet和PyTorch等模型的支持,開發(fā)者需要先將模型轉(zhuǎn)換為ONNX格式,再進(jìn)一步轉(zhuǎn)換為RKNN模型,這一過程較為繁瑣,并且提高了引入問題的概率使得最終轉(zhuǎn)換失敗。
MXNet及PyTorch發(fā)展非常迅速,普及度快速提高, RKNN-Toolkit新版本將原生支持MXNet及PyTorch模型的轉(zhuǎn)換,在端側(cè)AI平臺(tái)的框架和模型支持覆蓋度上繼續(xù)保持領(lǐng)先。
三、模型推理性能更加穩(wěn)定,瑞芯微 AI平臺(tái)支持通過Docker快速部署端側(cè)AI應(yīng)用
隨著端側(cè)設(shè)備數(shù)量的成倍增長,需要以更具可擴(kuò)展性的方式部署端側(cè)AI應(yīng)用軟件。Docker容器技術(shù)是業(yè)界廣泛通行的解決這一挑戰(zhàn)的有力工具。
RK1808平臺(tái)系統(tǒng)將提供對Docker的支持,通過硬件抽象層,在容器中仍可調(diào)用NPU的強(qiáng)勁算力,經(jīng)測試,容器中的AI模型推理性能幾乎沒有損失。
通過上述更新,開發(fā)者基于瑞芯微Rockchip AI平臺(tái)的產(chǎn)品開發(fā)、部署、維護(hù)將更為迅捷。瑞芯微將繼續(xù)與廣大開發(fā)者共同努力,加速AI在各類場景的落地。