云端之外的分布式分析

“分析”是一個(gè)非常普通的術(shù)語，用于關(guān)聯(lián)和消化原始數(shù)據(jù)以產(chǎn)生更有用的結(jié)果。分析算法可以簡(jiǎn)單到就像數(shù)據(jù)規(guī)約或?qū)σ贿B串傳感器讀數(shù)求平均值，也可以復(fù)雜到就像最錯(cuò)綜復(fù)雜的人工智能或機(jī)器學(xué)習(xí) (AI/ML) 系統(tǒng)。如今，分析通常在云端執(zhí)行，因?yàn)樗亲罹呖蓴U(kuò)展性和成本效益的解決方案。但在未來，分析將越來越多地分散到云、邊緣計(jì)算和端點(diǎn)設(shè)備上，以利用它們改進(jìn)的延遲、網(wǎng)絡(luò)帶寬、安全性和可靠性。在這里，我們將討論把分析功能分布到傳統(tǒng)的云邊界之外所涉及的一些架構(gòu)和權(quán)衡。

分布式分析如何增值

簡(jiǎn)單的分析包括數(shù)據(jù)規(guī)約、關(guān)聯(lián)和求平均值，結(jié)果是輸出一串比輸入數(shù)據(jù)小得多的數(shù)據(jù)。例如，一座大樓的淡水供應(yīng)系統(tǒng)。為了優(yōu)化水泵和監(jiān)測(cè)消耗，了解系統(tǒng)中各點(diǎn)的壓力和流量可能很有價(jià)值。這會(huì)涉及到分布在輸配管道周圍的壓力和流量傳感器陣列。軟件定期詢問傳感器，調(diào)整泵的設(shè)置，并為大樓管理人員生成用水報(bào)告。但是，傳感器的原始讀數(shù)可能具有誤導(dǎo)性—例如，沖洗固定裝置時(shí)的瞬時(shí)壓降。分析算法可以對(duì)指定傳感器一段時(shí)間內(nèi)的讀數(shù)求平均值，并結(jié)合和關(guān)聯(lián)多個(gè)傳感器的讀數(shù)，以生成更準(zhǔn)確、有用的管道狀況圖。所有這些讀數(shù)都可以發(fā)送到位于云端的分析系統(tǒng)，但如果傳感器自己做一些平均計(jì)算，讓本地邊緣計(jì)算機(jī)進(jìn)行關(guān)聯(lián)和報(bào)告，這將是一個(gè)更高效的架構(gòu)。這就是分布式分析，可以改善許多分析系統(tǒng)的效率、準(zhǔn)確性和成本。

當(dāng)采用人工智能/機(jī)器學(xué)習(xí) (AI/ML) 技術(shù)時(shí)，分析會(huì)變得更加復(fù)雜。人工智能/機(jī)器學(xué)習(xí)通常分為兩個(gè)階段：

一個(gè)是建模階段。在這個(gè)階段，大量的數(shù)據(jù)被提取出來，為AI/ML系統(tǒng)生成一個(gè)模型

一個(gè)是推斷階段。在這個(gè)階段，將模型應(yīng)用于系統(tǒng)中的數(shù)據(jù)流，以生成期望的結(jié)果（通常是實(shí)時(shí)的）

在當(dāng)今的系統(tǒng)中，這些模型幾乎總是建在大型服務(wù)器場(chǎng)或云端，通常是離線部署。然后，將生成的AI/ML模型打包并發(fā)送到不同的系統(tǒng)，這些系統(tǒng)使用實(shí)時(shí)數(shù)據(jù)運(yùn)行模型的推斷階段，生成所需的結(jié)果。推斷階段可以在云端運(yùn)行，但最近一直在向邊緣轉(zhuǎn)移，以改善延遲、網(wǎng)絡(luò)帶寬、可靠性和安全性。在決定每個(gè)階段使用哪個(gè)級(jí)別的計(jì)算資源時(shí)，需要認(rèn)真考慮各個(gè)權(quán)衡因素。

AI/ML的推斷階段

AI/ML的推斷階段相對(duì)容易分布在多個(gè)同級(jí)處理器上，或者沿處理層的層次結(jié)構(gòu)上下分布。如果模型經(jīng)過預(yù)先計(jì)算，那么AI/ML算法使用的數(shù)據(jù)就可以在多個(gè)處理器之間進(jìn)行劃分且并行計(jì)算。在多個(gè)同級(jí)處理器之間劃分工作負(fù)載帶來了容量、性能和規(guī)模優(yōu)勢(shì)，因?yàn)殡S著工作負(fù)載的增加，可以調(diào)動(dòng)更多的計(jì)算資源去承擔(dān)。它還可以提高系統(tǒng)的可靠性，因?yàn)槿绻粋€(gè)處理器出現(xiàn)故障，鄰近的處理器仍然可以完成工作。推斷操作也可以在一個(gè)層次結(jié)構(gòu)的多個(gè)層次之間進(jìn)行劃分，也許算法的不同部分會(huì)在處理器的不同層次上運(yùn)行。這讓AI/ML算法能夠以合乎邏輯的方式進(jìn)行劃分，允許層次結(jié)構(gòu)的每一級(jí)執(zhí)行最高效的算法子集。 例如，在視頻分析AI/ML系統(tǒng)中，攝像頭中的智能功能可以執(zhí)行自適應(yīng)對(duì)比度增強(qiáng)，將這些數(shù)據(jù)交給邊緣計(jì)算機(jī)執(zhí)行特征提取，將其發(fā)送到鄰近的數(shù)據(jù)中心進(jìn)行對(duì)象識(shí)別，最后，云端可以執(zhí)行高級(jí)功能，如威脅檢測(cè)或熱圖生成。這可以是一種高效的分區(qū)。

AI/ML算法的學(xué)習(xí)階段

對(duì)AI/ML算法的學(xué)習(xí)階段進(jìn)行分布難度更大。問題是上下文的大小。為了準(zhǔn)備模型，AI/ML系統(tǒng)需要大批量的訓(xùn)練數(shù)據(jù)，并用各種復(fù)雜的學(xué)習(xí)階段算法對(duì)其進(jìn)行消化，從而生成一個(gè)在推斷階段相對(duì)容易執(zhí)行的模型。如果在一個(gè)給定的計(jì)算節(jié)點(diǎn)上只有一部分訓(xùn)練數(shù)據(jù)可用，算法在推廣模型時(shí)會(huì)遇到困難。這就是為何訓(xùn)練通常在云端進(jìn)行。在云端，內(nèi)存和存儲(chǔ)空間幾乎是無限的。但是，某些場(chǎng)景需要將訓(xùn)練算法分布在多個(gè)同級(jí)計(jì)算節(jié)點(diǎn)上，或者在云-到邊緣的層次結(jié)構(gòu)中上下分布。特別是，邊緣學(xué)習(xí)能夠從附近的傳感器收集大量的訓(xùn)練數(shù)據(jù)，并在沒有云參與的情況下利用數(shù)據(jù)，這樣可以改善延遲、可靠性、安全性和網(wǎng)絡(luò)帶寬。為了解決這些挑戰(zhàn)，目前正在開發(fā)先進(jìn)的分布式學(xué)習(xí)算法。

結(jié)論

AI/ML是幾乎所有電子系統(tǒng)未來必須具備的重要能力。這些系統(tǒng)的推斷和訓(xùn)練能力如何在計(jì)算資源的層次結(jié)構(gòu)中進(jìn)行劃分？存在哪些選項(xiàng)？了解這些選項(xiàng)是我們未來成功的關(guān)鍵。

審核編輯：郭婷