摘要

人工智能（AI）技術(shù)擺脫了靜態(tài)的基于規(guī)則的編程，用動態(tài)學(xué)習(xí)的推理系統(tǒng)代替了更智能的決策。先進(jìn)的人工智能技術(shù)與物聯(lián)網(wǎng)技術(shù)相結(jié)合，正在用智能應(yīng)用重新定義整個行業(yè)。

這些行業(yè)的一個重要趨勢是人工智能推理系統(tǒng)向邊緣轉(zhuǎn)移，更接近傳感器和控制元件，減少延遲并改善響應(yīng)。從可穿戴設(shè)備到嵌入式系統(tǒng)，所有類型的邊緣人工智能硬件的需求都在快速增長。據(jù)估計，到2026年，單位年復(fù)合增長率為20.3%，超過22億單位。

邊緣AI推理平臺面臨的最大挑戰(zhàn)是實時提供高帶寬數(shù)據(jù)，并對AI和控制算法使用有限的空間和功率進(jìn)行決策。接下來，我們將看到NVIDIA的三個強(qiáng)大的AI應(yīng)用開發(fā)支柱如何幫助工業(yè)計算機(jī)使邊緣AI推理解決方案成為現(xiàn)實。

Edge AI推斷支持應(yīng)用程序中當(dāng)前發(fā)生的事情，并在繼續(xù)學(xué)習(xí)的過程中展望未來數(shù)月和數(shù)年。 

什么是人工智能推理

支持人工智能的系統(tǒng)有兩種：一種用于訓(xùn)練，另一種用于推理。訓(xùn)練系統(tǒng)檢查數(shù)據(jù)集和結(jié)果，尋找建立一個決策算法。對于大型數(shù)據(jù)集，培訓(xùn)系統(tǒng)可以使用服務(wù)器、云計算資源或在極端情況下使用超級計算機(jī)進(jìn)行擴(kuò)展，還可以花費(fèi)數(shù)天或數(shù)周的時間來分析數(shù)據(jù)。

在訓(xùn)練中發(fā)現(xiàn)的算法被傳遞給人工智能推理系統(tǒng)，用于處理真實世界的實時數(shù)據(jù)。雖然推理的計算強(qiáng)度不如訓(xùn)練，但它需要有效的人工智能加速來快速處理決策，并與傳入的數(shù)據(jù)保持同步。由于熟悉的編程工具、高性能和強(qiáng)大的生態(tài)系統(tǒng)，一個流行的加速選擇是使用GPU內(nèi)核。

傳統(tǒng)上，AI推斷系統(tǒng)是在服務(wù)器級平臺上通過在PCIe擴(kuò)展插槽中添加GPU卡來創(chuàng)建的。大多數(shù)人工智能推理仍然發(fā)生在支持人工智能的服務(wù)器或云計算上，一些應(yīng)用程序需要服務(wù)器級平臺來提高人工智能加速性能。在考慮延遲和響應(yīng)的情況下，低功耗嵌入式系統(tǒng)可以將人工智能推理擴(kuò)展到邊緣。

邊緣人工智能推理體系結(jié)構(gòu)的優(yōu)點(diǎn)

邊緣計算在處理大量實時數(shù)據(jù)的分布式體系結(jié)構(gòu)中具有很大的優(yōu)勢。將所有這些數(shù)據(jù)移入云中或服務(wù)器進(jìn)行分析會帶來網(wǎng)絡(luò)和存儲方面的挑戰(zhàn)，從而影響帶寬和延遲。更接近數(shù)據(jù)源的本地化處理（如使用AI進(jìn)行預(yù)處理）可以減少這些瓶頸，降低網(wǎng)絡(luò)和存儲成本。

還有其他邊緣計算的好處。個人識別信息可以匿名化，提高隱私。安全區(qū)域減少了系統(tǒng)范圍內(nèi)的漏洞。局部算法執(zhí)行實時確定性，使系統(tǒng)處于控制之下，許多錯誤警報或觸發(fā)器可以在工作流的早期消除。

擴(kuò)展邊緣計算與人工智能推理增加了更多的好處。邊緣人工智能推理應(yīng)用程序通過添加更小的平臺有效地擴(kuò)展。通過在一個邊緣節(jié)點(diǎn)上進(jìn)行推理而獲得的任何改進(jìn)都可以上傳并部署到整個節(jié)點(diǎn)系統(tǒng)中。

如果一個邊緣人工智能推理平臺能夠加速整個應(yīng)用程序堆棧，包括數(shù)據(jù)接收、推理、本地化控制、連接性等等，那么它就為系統(tǒng)架構(gòu)師創(chuàng)造了引人注目的可能性。