機器學習將持續(xù)作為眾多應用的重要推動因素，尤其是視覺導向的機器人或所謂的「協(xié)作機器人」應用。結(jié)合處理器核心與可編程邏輯的異質(zhì)SoC，能打造出高效且可重配置的解決方案。

在目前的嵌入式視覺領(lǐng)域中，最熱門的話題之一就是機器學習(machine learning)。機器學習涵蓋多個產(chǎn)業(yè)重要趨勢，不僅是嵌入式視覺(Embedded Vision；EV)，而且在工業(yè)物聯(lián)網(wǎng)(IIoT)和云端運算中均發(fā)揮極為顯著的作用。

對于不熟悉機器學習的人來說，很多時候機器學習是透過神經(jīng)網(wǎng)路的創(chuàng)造和訓練而實現(xiàn)的。神經(jīng)網(wǎng)路(neural network)一語極為通用，包含大量截然不同的子類別。這些子類別的名稱一般用于辨識被實現(xiàn)的具體網(wǎng)路類型。這些網(wǎng)路在大腦皮層上建模，大腦皮層中每個神經(jīng)元接收輸入、處理后并將其傳達給另一個神經(jīng)元。因此，神經(jīng)元一般由輸入層、多個內(nèi)部隱藏層和一個輸出層組成。

在最簡單的層面上，神經(jīng)元取得輸入、施加權(quán)重給輸入，然后在加權(quán)輸入總和上執(zhí)行傳遞函數(shù)。其結(jié)果隨后傳遞至隱藏層中的另一層，或傳遞給輸出層。將某一階段的輸出傳遞給另一階段而不形成一個周期的神經(jīng)網(wǎng)路被稱為「前饋神經(jīng)網(wǎng)路」(FNN)，而那些存在反饋、內(nèi)含定向周期的神經(jīng)網(wǎng)路則被稱為「循環(huán)神經(jīng)網(wǎng)路」(RNN)。

眾多機器學習應用中極為常用的神經(jīng)網(wǎng)路之一是「深度神經(jīng)網(wǎng)路」(DNN)。這類神經(jīng)網(wǎng)路擁有多個隱藏層，能實現(xiàn)更復雜的機器學習任務。為了確定每一層使用的權(quán)重和偏差值，必須對神經(jīng)網(wǎng)路進行訓練。在訓練過程中，為該神經(jīng)網(wǎng)路施加一定數(shù)量的正確輸入和錯誤輸入，并使用誤差函數(shù)教授網(wǎng)路所需的性能。訓練深度神經(jīng)網(wǎng)路可能需要相當龐大的資料集，才足以正確訓練所需性能。

機器學習最重要的應用之一是嵌入式視覺領(lǐng)域，其中，各類系統(tǒng)正從視覺實現(xiàn)的系統(tǒng)演進為視覺引導的自動化系統(tǒng)。相較于其他較簡單的機器學習應用，嵌入式視覺應用最主要的區(qū)別在于采用二維(2D)輸入格式。因此，在機器學習實施方案中，采用稱為卷積神經(jīng)網(wǎng)路(CNN)的網(wǎng)路結(jié)構(gòu)，因為它們能夠處理2D輸入。

CNN是一種前饋網(wǎng)路，其中包含多個卷積層和子采樣層以及一個單獨的全連接網(wǎng)路，以執(zhí)行最終分類。由于CNN的復雜性，它們也被歸類在深度學習類別。在卷積層中，輸入影像被細分為一系列重疊的小模組(tile)。在進行進一步的子采樣和其它階段之前，來自該卷積的結(jié)果先使用啟動層建立啟動圖，然后應用到最終的全連接網(wǎng)路上。

這些元素中的每一個權(quán)重都經(jīng)由訓練決定，而CNN的優(yōu)勢之一就在于訓練網(wǎng)路相對容易。透過訓練產(chǎn)生權(quán)重需要龐大的影像集，其中既有需要檢測的物件，也有偽影像。這樣能讓我們?yōu)镃NN建立所需的權(quán)重。由于訓練過程中所涉及的處理要求，訓練流程一般執(zhí)行于提供高性能運算的云端處理器上。

架構(gòu)

機器學習是一個復雜的課題，尤其是如果每一次都得從頭開始，定義網(wǎng)路、網(wǎng)路架構(gòu)以及產(chǎn)生訓練演算法。為了協(xié)助工程師實作網(wǎng)路和訓練網(wǎng)路，有一些產(chǎn)業(yè)標準架構(gòu)可供使用，例如Caffe和Tensor Flow。 Caffe架構(gòu)為機器學習開發(fā)人員提供各種工具庫、模型以及具有C++庫的預訓練權(quán)重，同時提供Python和Matlab綁定。該架構(gòu)能讓使用者無需從頭開始，就能建立并訓練網(wǎng)路，以執(zhí)行所需的運算。

實現(xiàn)嵌入式視覺和機器學習

基于可編程邏輯的解決方案越來越廣泛地用于嵌入式視覺應用，例如異質(zhì)的賽靈思(Xilinx) All Programmable Zynq-7000 SoC和Zynq UltraScale+MPSoC等多處理器SoC(MPSoC)。這些元件結(jié)合了可編程邏輯(PL)架構(gòu)以及處理系統(tǒng)(PS)中的高性能ARM核心。這種組合形成的系統(tǒng)能夠擁有更快的回應速度、極其靈活以便于未來修改，并且提供了高能效解決方案。

機器學習推論引擎實作方案中所使用的數(shù)值顯示系統(tǒng)，也對機器學習的性能發(fā)揮重要影響。越來越多的機器學習應用采用更高效的較低精確度定點數(shù)值系統(tǒng)，例如INT8運算式。相較于傳統(tǒng)的浮點32(FP32)途徑，使用較低精確度的定點數(shù)值系統(tǒng)并不會造成明顯的精確度降低。因為與浮點運算相較，定點數(shù)學更易于實現(xiàn)，轉(zhuǎn)而采用INT8則能在一些實作中提供更高效且快速的解決方案。

對于在可編程邏輯解決方案中進行實作而言，使用定點數(shù)值系統(tǒng)十分理想，例如，reVISION能夠在可編程邏輯中與INT8運算式協(xié)同工作。這些INT8運算式便于在可編程邏輯中使用專用的DSP模組。在使用相同的核心權(quán)重時，這些DSP模組架構(gòu)能實現(xiàn)最多兩個同步的INT8乘法累加運算進行。這樣不僅能提供高性能的實作方案，而且還能降低功耗。可編程邏輯元件的靈活性也便于實現(xiàn)進一步降低精確度的定點數(shù)值表達系統(tǒng)。

結(jié)語

機器學習將持續(xù)作為眾多應用的重要推動因素，尤其是視覺導向的機器人或所謂的「協(xié)作機器人」(cobot)應用。結(jié)合處理器核心與可編程邏輯的異質(zhì)SoC，能打造出十分高效、反應快且可重配置的解決方案。