添加邊緣智能：采訪恩智浦

當今嵌入式世界 2021 的許多演講中明確涵蓋的一個關(guān)鍵主題是廣泛采用邊緣計算來實現(xiàn)邊緣智能。一些預(yù)測預(yù)計，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機器學習或人工智能。

圍繞啟用這種邊緣智能有哪些問題，您如何實現(xiàn)它？這是 NXP Semiconductors 高級副總裁兼邊緣處理業(yè)務(wù)總經(jīng)理 Ron Martino 最近在播客中的話題。雖然您可以在此處收聽完整的播客，但我們提供了本文討論的一些摘錄。

定義邊緣計算

邊緣計算的核心是更接近用戶的高效處理能力。我們可以為數(shù)據(jù)帶來更快的洞察力。 你能在恩智浦如何解決邊緣計算的背景下定義它嗎？

羅恩·馬蒂諾

Martino：邊緣計算簡單來說就是分布式本地計算和感知能力。它有效地解釋、分析和作用于傳感器數(shù)據(jù)以執(zhí)行一組有意義的功能。它不會試圖成為云的替代品或替代品，它變得免費。傳統(tǒng)上，例如在語音輔助中，大量數(shù)據(jù)被發(fā)送到云端，在那里使用更高的計算能力來增強體驗。邊緣計算正在演變?yōu)樽兊酶悄埽缓蟾悄?。智能邊緣計算平衡了本地計算與中央或云計算的使用。隨著這種情況的進一步發(fā)展，我們希望終端設(shè)備有更多的能力來進行解釋、分析，然后在本地做出決策，從而變得更加智能。

您能否舉例說明如何使用邊緣計算來提高生產(chǎn)力和安全性？

Martino：在生產(chǎn)力方面，一個很好的例子是增強勞動力：利用邊緣處理或支持視覺和機器學習的可穿戴設(shè)備，工人可以診斷問題并更快地修復它，無論是在家里還是在工廠。

智能邊緣設(shè)備通過識別各種危險信號來提高安全性：通過識別警報、人員跌倒或玻璃破碎，然后通過使用額外的傳感器信息和計算來確定問題。無論是使用恩智浦正在開發(fā)的雷達傳感設(shè)備，還是使用視覺功能，或者只是將音頻輸入解釋到設(shè)備中。

如果我們轉(zhuǎn)向更環(huán)保和能源意識，一個需要解決的概念是吸血鬼的力量，你插入設(shè)備，他們什么都不做，但仍然在消耗能量。

我們也正在轉(zhuǎn)向“感知邊緣”的概念，其中設(shè)備以類似人類的行為做出更多反應(yīng)。他們開始了解他們的環(huán)境，他們匯總輸入并與其他設(shè)備交互以收集信息并了解情況的背景，然后做出相應(yīng)的決定。一個簡單的實際示例是具有本地能力的交通模式，它可以解釋人群和不同的擁堵點，并通過觀察和感知汽車數(shù)量和條件來優(yōu)化本地情況，從而提高駕駛效率，從而避免浪費時間。

支持邊緣智能的技術(shù)

從技術(shù)的角度來看，構(gòu)成智能邊緣和感知邊緣的部分是什么？

馬蒂諾：讓我們從基礎(chǔ)開始。您需要擁有計算平臺，并且它們需要擴展。他們需要節(jié)能。與過去不同，現(xiàn)在它實際上是關(guān)于多個獨立的異構(gòu)計算子系統(tǒng)。這基本上是有一個 GPU、一個 CPU、一個神經(jīng)網(wǎng)絡(luò)處理單元、一個視頻處理單元和一個 DSP。

您如何優(yōu)化這些不同的硬件加速器和計算設(shè)備并針對給定的最終應(yīng)用進行優(yōu)化？這就是恩智浦真正擅長于擁有可擴展的計算范圍以及所有這些其他元素的地方。然后是針對語音應(yīng)用、人機交互的優(yōu)化硬件加速器或功能的集成，將視覺和語音結(jié)合在一起，然后以真正涉及超低泄漏的方式進行，操作模式可以調(diào)整到真正優(yōu)化能源使用，即使使用這些大型片上存儲器，當您查看某些工作負載時也是必要的。

這繼續(xù)優(yōu)化機器學習能力、與許多不同攻擊面的最高覆蓋范圍的安全集成、高效連接、高效能源使用以及開放標準。它還可以利用恩智浦提供的技術(shù)，例如高精度距離測量，無論是使用我們的 UWB 技術(shù)以非常準確的方式定位給定人員或跟蹤設(shè)備的物理位置。

最后一件事是將這一切包裝在無縫的用戶體驗中，因為如果它不易于使用，并且使用起來不自然，那么它就不會被使用。因此，獲得無縫、舒適的體驗絕對至關(guān)重要。

用戶如何構(gòu)建這樣的解決方案？

Martino：我們提供一切，從處理器或微控制器的基本產(chǎn)品，一直到針對本地語音、視覺、檢測和推理能力或這些功能的組合預(yù)先優(yōu)化的參考平臺。我們將客戶可以購買的參考平臺放在一起，例如我們的 RT 系列設(shè)備。我們有一個可以購買的人臉識別產(chǎn)品，這是一個完全啟用和設(shè)計的系統(tǒng)，客戶可以將其作為修改他們想要專業(yè)化或品牌化的需求的起點。

消費者和工業(yè)用例的技術(shù)差異

大多數(shù)業(yè)內(nèi)人士都會同意，我們家庭和工作中的智能設(shè)備和系統(tǒng)正在獲得牽引力。正如您所說，普通的舊物聯(lián)網(wǎng)與工業(yè)市場之間有哪些技術(shù)差異？

Martino：與 [消費者] 物聯(lián)網(wǎng)世界相比，工業(yè)領(lǐng)域的連接標準、環(huán)境要求、壽命需求（可能超過 15 年）以及安全要求更加廣泛和苛刻。恩智浦投資的一個領(lǐng)域是時間敏感網(wǎng)絡(luò) (TSN)，并將 Mac 和交換機集成到一整套設(shè)備中，這些設(shè)備可以支持多臺機器的菊花鏈設(shè)置、工作并支持端點功能，利用這種更具確定性TSN 骨干網(wǎng)，它還支持許多傳統(tǒng)標準正在融合的更高的數(shù)據(jù)速率和吞吐量。

將此與 [消費者] 物聯(lián)網(wǎng)市場進行比較。對于智能家居和可穿戴設(shè)備等應(yīng)用而言，對極端能源效率、更高使用語音 HMI、無線連接和更短生命周期的需求更為廣泛。在可穿戴設(shè)備方面，您需要出色的用戶體驗，但您需要最長的電池壽命。優(yōu)化這些邊緣設(shè)備以執(zhí)行其功能，然后關(guān)閉并保持電池壽命非常重要，并且必須以最有效的方式完成真正豐富的用戶體驗，因為那是它消耗電池的時間。

互操作性挑戰(zhàn)

在智能家居領(lǐng)域，通常很難從一家公司獲取產(chǎn)品并使其與其他設(shè)備一起使用。恩智浦如何嘗試改變智能家居無線互操作性挑戰(zhàn)？

Martino：以智能家居設(shè)備為例，標準和互操作能力非常分散。我們有一個名為 CHIP 的項目，即“基于 IP 的互聯(lián)家庭”標準項目。它讓 NXP 以及許多其他行業(yè)領(lǐng)導者共同努力，試圖整合，而不是專有標準，而是整個行業(yè)通用的開放標準，并允許人們在這個開放標準上進行構(gòu)建。

該項目的重點是在 NXP 和其他公司圍繞 ZigBee 和 Thread 以及 ZigBee 聯(lián)盟所做的多年工作的基礎(chǔ)上，然后利用亞馬遜、蘋果、谷歌已經(jīng)推出建立這個我們稱之為 CHIP 的開放標準，并在設(shè)備之間建立這種通用鏈接。當您插入某些東西時，連接將非常簡單。

恩智浦的計劃是在今年晚些時候在市場上推出真正的產(chǎn)品，其中包含 CHIP 標準的第一個版本。

解決添加邊緣智能的復雜性和成本

轉(zhuǎn)向邊緣的機器學習和人工智能。這一切聽起來相當復雜和昂貴，對吧？

Martino：對于很多人來說，當你談?wù)?AI 和 ML 時，它是一個非常復雜的抽象概念。據(jù)預(yù)測，到 2025 年，90% 的邊緣設(shè)備將使用某種形式的機器學習或人工智能。我們堅信確實如此，并且我們正在推出針對此進行優(yōu)化的產(chǎn)品。這是我們?yōu)閮?yōu)化所使用的硬件、處理器和微控制器所做的工作以運行此功能的組合。對于最終用戶而言，更多的是部署對最終用例有意義的實用 ML 的復雜程度。

有許多公司想要收集數(shù)據(jù)并創(chuàng)建自己的模型。恩智浦關(guān)注的是，我們?nèi)绾螁⒂门c云無關(guān)的功能，從而在簡單的用戶界面或開發(fā)環(huán)境中實現(xiàn)靈活性？

這就是我們最近宣布的對 Au-Zone 的投資，并將在 2021 年推出增強的開發(fā)環(huán)境，您可以在其中選擇引入的內(nèi)容類型。您自己的數(shù)據(jù)、您擁有的模型或您擁有的模型已選擇通過您最喜歡的來源或云提供商獲取，并帶來，然后對其進行優(yōu)化，并將其部署到終端設(shè)備上。因為這是優(yōu)化。

機器學習如何增加最終解決方案的成本？

Martino：如果你有一個非常復雜、繁重的機器學習模型或能力，那將需要更高的計算能力，而計算能力越高，它的成本就越高。您可以選擇在邊緣處理器上執(zhí)行此操作，也可以選擇將其部署到云中。當我們嘗試為特定用例調(diào)整這些用例或這些模型時，您可以變得非常高效，然后您可以利用傳統(tǒng)的技術(shù)擴展和摩爾定律真正添加特定于 ML 的硬件加速，這不會占用硅面積很大。

它會增加少量成本，但卻是執(zhí)行您想要的給定工作的最佳能力。舉個例子，無論是在本地檢測人員和識別他們是誰，您現(xiàn)在都可以在微控制器上非常有效地做到這一點，該微控制器通過非常非常高效的硅實現(xiàn)進行了優(yōu)化。然后，您可以使用我們的一些處理器使其可擴展，您可以在其中擴展至外部更高性能的神經(jīng)網(wǎng)絡(luò)處理器，或者以免費的方式與云一起工作。同樣，所有這些都需要付出代價，這取決于任務(wù)的復雜性，但是對于您可以推出的非常復雜的功能來說，它可能非常有效。

道德人工智能

人們越來越擔心機器學習模型和人工智能中的偏見。行業(yè)在幫助確保道德 AI 方面的作用是什么？

Martino：它需要清晰的操作透明性，無論是簡單的概念，“我想知道它是在聽我還是在看我”，但如何確定它的結(jié)論然后采取行動變得非常重要。安全標準，以確保系統(tǒng)是安全的，并且在其攻擊面方面沒有后門訪問或其他敏感性或漏洞，因此有人可以訪問人工智能系統(tǒng)，然后影響它做某些事情或做出某些決定可能對攻擊系統(tǒng)的人有利。

你如何實施沒有預(yù)設(shè)偏見的人工智能系統(tǒng)，從原則上看，這是錯誤的？在 NXP，我們推出了一項 AI 道德倡議，強調(diào)了我們對這一道德發(fā)展的承諾。其中，我們談?wù)撟錾剖?，我們談?wù)摼S護以人為本的人工智能，這實際上是圍繞避免從屬或被人工智能系統(tǒng)脅迫，以及這種透明度、對科學卓越的高標準以及信任在人工智能系統(tǒng)中。

您認為實施邊緣技術(shù)仍存在哪些挑戰(zhàn)？

Martino：這是一項持續(xù)的活動，有許多領(lǐng)域需要繼續(xù)優(yōu)化。能源效率、驅(qū)動和利用能量收集概念以及設(shè)備的接近閾值操作是許多業(yè)內(nèi)人士的持續(xù)投資。安全性和保護數(shù)據(jù)的需要并繼續(xù)推進這是一項持續(xù)的活動。

投資于特定于硅的簽名和不同類型的密碼學，以及以受保護的方式執(zhí)行計算的方法，例如同態(tài)加密，在加密環(huán)境中執(zhí)行計算并且從不解密。然后圍繞延遲要求中吞吐量的連接性以及功耗進行擴展。為了對此進行優(yōu)化，我們將繼續(xù)優(yōu)化連接，并以越來越有效的方式將其引入這些邊緣設(shè)備。

最后，關(guān)于感知終端智能的整個概念，我們正處于第三代開發(fā)和實施神經(jīng)網(wǎng)絡(luò)處理器或進入我們處理器的子系統(tǒng)中。這正在推動效率和擴展性的提高，但在通過加速器以及圍繞脈沖神經(jīng)網(wǎng)絡(luò)的不同技術(shù)以及量子人工智能推動更高水平的效率方面，該領(lǐng)域仍在繼續(xù)進行研究。顯然，在短期內(nèi)，我們將看到圍繞更多傳統(tǒng)加速器的持續(xù)發(fā)展，并將這些加速器集成到恩智浦推向市場的這些可擴展處理器中。

審核編輯 黃昊宇