讓筆記本電腦重獲生機(jī)：萊迪思為筆記本電腦增添重要功能

萊迪思半導(dǎo)體白皮書(shū)

2020年7月

CCOVID-19新冠病毒的爆發(fā)讓人們的工作狀態(tài)發(fā)生了巨大變化，筆記本電腦市場(chǎng)也因此繁榮了起來(lái)。早在病毒蔓延全球之前，行業(yè)分析公司Gartner就曾在2020年1月指出：“Windows 10升級(jí)的強(qiáng)勁業(yè)務(wù)需求讓PC市場(chǎng)自2011年以來(lái)首次出現(xiàn)增長(zhǎng)，尤其是在美國(guó)、歐洲、中東和非洲（EMEA）以及日本市場(chǎng)?！睘榱嗽谶@個(gè)日益興盛的市場(chǎng)中保持競(jìng)爭(zhēng)力，筆記本電腦的OEM廠商希望通過(guò)采用新技術(shù)和增添新應(yīng)用來(lái)提高生產(chǎn)力，從而使其產(chǎn)品獲得差異化優(yōu)勢(shì)。雖然其中許多技術(shù)最初是用于智能手機(jī)等設(shè)備，但它們同樣可以在筆記本電腦上大放異彩，使之一方面擁有成熟筆記本電腦的強(qiáng)大功能，另一方面又獲得移動(dòng)設(shè)備的便捷和安全性，并很好地適應(yīng)周?chē)h(huán)境。

筆記本電腦上的許多新功能都可以通過(guò)軟件實(shí)現(xiàn)，但是這會(huì)縮短電池使用時(shí)間。為了解決這個(gè)矛盾，萊迪思半導(dǎo)體正著手開(kāi)發(fā)基于硬件的方案，以極低的功耗實(shí)現(xiàn)更高的性能，同時(shí)由于采用了萊迪思的FPGA器件，為未來(lái)的升級(jí)提供了極大便利。由于FPGA能在現(xiàn)場(chǎng)重新編程，OEM廠商還可以通過(guò)下載軟件和固件更新，在硬件上實(shí)現(xiàn)新的應(yīng)用，而無(wú)需重新設(shè)計(jì)硬件。

筆記本電腦的使用不斷增長(zhǎng)

曾有人預(yù)測(cè)筆記本電腦將被智能手機(jī)和平板電腦取代，然而由于工作環(huán)境的改變和新興技術(shù)的發(fā)展，筆記本電腦的使用不降反增。云計(jì)算和無(wú)處不在的寬帶連接意味著員工在工作場(chǎng)所之外也同樣可以保證不錯(cuò)的生產(chǎn)力。由于筆記本電腦配備全尺寸鍵盤(pán)、高分辨率顯示屏和攝像頭，通常是電子郵件、文字處理和視頻會(huì)議等商務(wù)生產(chǎn)力應(yīng)用的首選。

盡管許多圍繞省電和人工智能（AI）的技術(shù)創(chuàng)新大多應(yīng)用于智能手機(jī)平臺(tái)，它們同樣可以應(yīng)用于筆記本電腦，且不影響其功耗。例如，筆記本電腦的顯示屏是主要耗電來(lái)源，我們可以對(duì)用戶進(jìn)行智能監(jiān)測(cè)，確定用戶的注意力是否在電腦屏幕上，當(dāng)用戶的注意力轉(zhuǎn)移到別處時(shí)，可以自動(dòng)降低屏幕亮度，從而大大延長(zhǎng)電池壽命。這一應(yīng)用已經(jīng)在智能手機(jī)上廣泛使用，如今在筆記本電腦上也可以獲得類(lèi)似的體驗(yàn)。

AI日益普及

盡管AI仍是一個(gè)潛力無(wú)限的新興領(lǐng)域，但它正不斷向消費(fèi)者展現(xiàn)其巨大價(jià)值。有些AI應(yīng)用已經(jīng)成為主流，用戶也十分滿意它們帶來(lái)的便利。人臉識(shí)別就是其中之一，特別是作為智能手機(jī)上的安全功能大行其道。它現(xiàn)在還廣泛用于全球的機(jī)場(chǎng)，在旅客通過(guò)出入境關(guān)口時(shí)追蹤進(jìn)入或離開(kāi)該國(guó)的旅客。在這幾種情況下，攝像頭都能識(shí)別出面部，增強(qiáng)了計(jì)算機(jī)用戶（或進(jìn)入某國(guó)的游客）對(duì)其身份的判斷的可信度。如今，消費(fèi)者逐漸對(duì)AI體驗(yàn)感到滿意，他們期望人臉識(shí)別之類(lèi)的智能視覺(jué)功能可以在筆記本電腦上得到更廣泛的應(yīng)用。

安全和隱私

臺(tái)式機(jī)的安全和隱私固然十分重要，但是筆記本電腦則更甚。無(wú)論是用于工作還是個(gè)人使用，安全性和隱私（盡管在技術(shù)上屬于不同的概念）可以視作一個(gè)要求，因?yàn)楸Ｗo(hù)敏感數(shù)據(jù)的安全性能需求與保證該數(shù)據(jù)私密性的需求密不可分。

我們都知道保護(hù)安全和隱私通常意味犧牲便捷。盡管那些繁瑣的安全措施能夠保護(hù)在公共區(qū)域使用的筆記本電腦，但是到了熟悉可控的環(huán)境中，例如工作場(chǎng)所或家里，這些措施會(huì)令人煩惱，甚至沒(méi)有必要。

筆記本電腦可以使用AI來(lái)識(shí)別場(chǎng)景，這樣做的好處就是它可以根據(jù)自身所處的位置調(diào)整安全設(shè)置。在家里使用時(shí)，由于客觀風(fēng)險(xiǎn)較小，就可以調(diào)整設(shè)置更便于使用。相比之下，在咖啡廳里使用時(shí)，由于面對(duì)的是陌生的環(huán)境和人，可以自動(dòng)提高安全設(shè)置。

當(dāng)然，這不僅僅是檢測(cè)筆記本電腦所處的環(huán)境那么簡(jiǎn)單。負(fù)責(zé)掃描環(huán)境的攝像頭還可以檢測(cè)用戶起身離開(kāi)的動(dòng)作，例如去倒咖啡或去洗手間。然后，計(jì)算機(jī)可以快速自我鎖定，無(wú)需用戶進(jìn)行鎖屏。同樣，攝像頭還可以檢測(cè)到其他人從后方窺視用戶的屏幕，從而采取措施阻止未經(jīng)授權(quán)的用戶觀看屏幕。如今計(jì)算機(jī)入侵事件層出不窮，AI還可以幫助監(jiān)視計(jì)算機(jī)內(nèi)部行為和活動(dòng)，向用戶報(bào)告任何的可疑事件。

以上列舉了筆記本電腦的一些升級(jí)的案例，旨在滿足現(xiàn)代工作者的需求和期望。由于篇幅有限，本文只涉及兩種筆記本電腦的發(fā)展趨勢(shì)：

?實(shí)時(shí)在線和瞬時(shí)啟動(dòng)的特性。主要目的是省電。

?全新的筆記本電腦形態(tài)。這意味著可以將屏幕與機(jī)身分離、嘗試全新的筆記本電腦形狀或者折疊筆記本電腦和屏幕。

萊迪思FPGA（尤其是iCE40 UltraPlusTM 和CrossLink-NX? FPGA）以及用于實(shí)時(shí)在線網(wǎng)絡(luò)邊緣AI應(yīng)用的Lattice sensAI?解決方案集合提供了在未來(lái)的筆記本電腦中實(shí)現(xiàn)這些功能的有效途徑。而且，其功耗要遠(yuǎn)遠(yuǎn)低于基于ASIC的方案。

實(shí)時(shí)在線和瞬時(shí)啟動(dòng)

如今，筆記本電腦進(jìn)入睡眠或喚醒狀態(tài)只有三種操作方式：按下按鈕（可能是用鼠標(biāo)），合上機(jī)蓋或等待電腦進(jìn)入睡眠。新款的筆記本電腦可能會(huì)通過(guò)語(yǔ)音命令喚醒。

筆記本電腦面臨的主要問(wèn)題在于其SoC芯片。SoC負(fù)責(zé)控制筆記本電腦中進(jìn)行的各類(lèi)活動(dòng)，因此，它參與了電腦執(zhí)行的絕大多數(shù)任務(wù)。SoC包含CPU核心，可能還包括其他處理電路和外設(shè)電路，它在工作時(shí)會(huì)消耗大量能量。

由于SoC參與了筆記本電腦的大量活動(dòng)，因此在系統(tǒng)（尤其是SoC）休眠時(shí)，電腦幾乎無(wú)法處理任何任務(wù)。睡眠期間可用的功能就是和喚醒系統(tǒng)相關(guān)的選項(xiàng)。其他任務(wù)都無(wú)法在睡眠的系統(tǒng)上運(yùn)行。在某些情況下，如果需要處理特定的任務(wù)（如下載電子郵件、網(wǎng)絡(luò)監(jiān)控等），工作功率會(huì)達(dá)到100毫瓦，大大減少了電池使用時(shí)間。

如果筆記本電腦擁有響應(yīng)傳感器信號(hào)的AI功能，那么即使SoC處于睡眠狀態(tài)，電腦也可以執(zhí)行許多任務(wù)。AI功能可以在SoC睡眠時(shí)工作或做出決策，要么喚醒SoC開(kāi)展進(jìn)一步的工作，要么讓SoC保持睡眠狀態(tài)，讓AI處理所需完成的任務(wù)。低功耗FPGA是實(shí)現(xiàn)AI功能的理想硬件平臺(tái)。它們擁有足夠的處理能力執(zhí)行基本的AI任務(wù)（例如存在檢測(cè)），功耗卻比SoC低得多。如果AI確定需要SoC參與任務(wù)，則將其喚醒，配合AI進(jìn)行處理或采取其他措施。

?

萊迪思sensAI解決方案集合可搭載iCE40 UltraPlus、ECP5?和CrossLink-NX FPGA，輕松實(shí)上述AI功能。但是目前為止，此類(lèi)AI大多應(yīng)用于物聯(lián)網(wǎng)（IoT）設(shè)備。例如，智能門(mén)鈴可能具有以下功能：

?檢測(cè)人員和其他物體（如包裹）的存在。

?檢測(cè)和/或識(shí)別出特定的人臉或人?？梢允亲?cè)為授權(quán)用戶的特定人員（例如房屋的居住者），也可以是經(jīng)常路過(guò)門(mén)鈴攝像頭的人員，例如身穿制服的快遞員或園丁。

?理解一些手勢(shì)或語(yǔ)音命令。將面部識(shí)別與語(yǔ)音關(guān)鍵詞或密碼驗(yàn)證相結(jié)合，可以實(shí)現(xiàn)雙重身份驗(yàn)證登錄，提高安全性。

?利用兼容各類(lèi)傳感器的推理引擎來(lái)最大程度地減少傳輸?shù)皆贫藬?shù)據(jù)。

在此類(lèi)應(yīng)用中，萊迪思FPGA能夠在SoC不工作的狀態(tài)下，在更低功耗下提供比獨(dú)立CPU更高的性能，因?yàn)镃PU必須通過(guò)軟件執(zhí)行任務(wù)，而FPGA采用效率更高、基于硬件的實(shí)現(xiàn)。例如，控制智能門(mén)鈴或監(jiān)控?cái)z像頭的CPU每秒可處理1-2幀，而功耗卻高達(dá)100 mW。 萊迪思iCE40 UltraPlus FPGA在7 mW功耗下每秒可處理5幀，性能為前者的3-5倍，功耗僅為前者的十四分之一。

如果萊迪思的sensAI解決方案可用于智能門(mén)鈴或監(jiān)控?cái)z像頭，則同樣適用于筆記本電腦，實(shí)現(xiàn)以下功能：

?檢測(cè)用戶何時(shí)觀看屏幕。當(dāng)用戶的視線離開(kāi)屏幕時(shí)，調(diào)暗屏幕節(jié)省電量；注意力重新聚焦屏幕時(shí)，增加屏幕亮度。

?根據(jù)筆記本電腦所處的位置調(diào)整安全設(shè)置。

?檢測(cè)用戶的視線方向。這可以簡(jiǎn)化通常需要鼠標(biāo)的任務(wù)。眼部跟蹤可以避免手動(dòng)操作某些頻繁出現(xiàn)的任務(wù)。

?優(yōu)化圖形渲染的功耗。可以著重渲染用戶正在觀看的屏幕部分。其余部分保持相對(duì)模糊或較低的渲染效果，從而節(jié)省電量，直到用戶視線轉(zhuǎn)移到屏幕的其他部分。?
通過(guò)玩家的眼睛移動(dòng)影響游戲的敘述軌跡。

?檢測(cè)是否有人在用戶背后偷窺。

?沒(méi)人使用筆記本電腦時(shí)，調(diào)暗屏幕以節(jié)省電量。

下面的示意圖說(shuō)明了萊迪思iCE40 UltraPlus FPGA如何分擔(dān)筆記本電腦SoC的一些AI處理工作。

在此設(shè)計(jì)中，傳感器接口收集各個(gè)傳感器的輸入，在FPGA的神經(jīng)網(wǎng)絡(luò)（NN）加速器中進(jìn)行處理，并在片上SRAM存儲(chǔ)處理神經(jīng)網(wǎng)絡(luò)所需的權(quán)重和激活值。如果需要進(jìn)一步處理，加速器則做出決策，喚醒SoC。

AI功能的構(gòu)建采用了萊迪思sensAI解決方案集合的各種資源以及iCE40 UltraPlus和CrossLink-NX FPGA。設(shè)計(jì)人員可以使用完善的軟件工具和整套設(shè)計(jì)工具，進(jìn)一步調(diào)整在Caffe、Keras、MobileNet、ResNet、SSD和TensorFlow等主要框架上訓(xùn)練的網(wǎng)絡(luò)。sensAI包括了參考設(shè)計(jì)、演示板、IP核和硬件平臺(tái)，可用于開(kāi)發(fā)各類(lèi)常見(jiàn)的AI應(yīng)用（例如存在檢測(cè)、對(duì)象計(jì)數(shù)、面部識(shí)別等）。萊迪思還提供定制設(shè)計(jì)服務(wù)，讓開(kāi)發(fā)人員快速實(shí)現(xiàn)AI功能，而無(wú)需全方位學(xué)習(xí)如何開(kāi)發(fā)和實(shí)現(xiàn)AI應(yīng)用。

減少信號(hào)數(shù)量，邁入全新形態(tài)

現(xiàn)代筆記本電腦面臨的第二個(gè)挑戰(zhàn)是如何超越傳統(tǒng)的外觀。這涉及到筆記本的靈活性，例如從中間將屏幕折疊將其收起。筆記本電腦的設(shè)計(jì)面臨著大量信號(hào)傳輸?shù)碾y題，這些信號(hào)又涉及到眾多協(xié)議。

一種簡(jiǎn)單的處理方法是通過(guò)信號(hào)聚合來(lái)減少信號(hào)數(shù)量?？梢詫⒍鄠€(gè)低帶寬接口復(fù)用到單個(gè)更高帶寬的信號(hào)上，然后再進(jìn)行解復(fù)用，大大優(yōu)化了筆記本電腦的布線。它使電路板之間的連接更簡(jiǎn)單，還能簡(jiǎn)化電路板上的布線，還意味著能夠大大減少穿過(guò)鉸鏈或其他柔性元件的線路。并且由于減少了連接器數(shù)量，可靠性也得到增強(qiáng)。

信號(hào)聚合可以在單線或一對(duì)LVDS上實(shí)現(xiàn)。萊迪思的FPGA可以提供諸多性能選擇來(lái)傳輸這些信號(hào)，從而為最高效的設(shè)計(jì)實(shí)現(xiàn)提供方案。例如，一片iCE40 UltraPlus FPGA可以以在單線上實(shí)現(xiàn)7 Mbps的傳輸速率。使用更高性能的萊迪思FPGA，可以實(shí)現(xiàn)更高的帶寬聚合速度。

然而，問(wèn)題在于，不同的信號(hào)可能采用不同的協(xié)議進(jìn)行傳輸。可以通過(guò)類(lèi)似于傳感器集線器（Hub）的I/O集線器來(lái)解決這一難題。該集線器可聚合不同類(lèi)型的本地I/O信號(hào)，并將其復(fù)用到數(shù)量較少的高速線路上。這些線路連接另一端的I/O集線器，信號(hào)在此被還原為最初的協(xié)議類(lèi)型。

萊迪思的FPGA提供用于接收I/O信號(hào)并傳輸多路復(fù)用信號(hào)的物理硬件。萊迪思還提供用于構(gòu)建I/O集線器的IP。信號(hào)聚合可適用各類(lèi)傳感器，因此不同類(lèi)型的傳感器（RGB、IR、激光雷達(dá)、雷達(dá)等）數(shù)據(jù)流或通過(guò)不同總線類(lèi)型（I2C、I2S、UART、GPIO）傳輸?shù)男盘?hào)可以聚合在同一引腳或線路上。萊迪思在智能手機(jī)的信號(hào)聚合方面長(zhǎng)期積累了豐富的經(jīng)驗(yàn)，這些同樣適用于筆記本電腦上的傳感器聚合應(yīng)用。

萊迪思助您打造未來(lái)的筆記本電腦

工程師們正努力開(kāi)發(fā)全新的筆記本電腦，為用戶提供類(lèi)似智能手機(jī)和平板電腦的使用體驗(yàn)。與今天的產(chǎn)品相比，未來(lái)的筆記本電腦將更易于使用、電池壽命更長(zhǎng)并且更加安全。

功耗和外形尺寸方面的改進(jìn)將最為顯著。筆記本電腦將通過(guò)節(jié)電技術(shù)，讓用戶可以連續(xù)使用一整天或更長(zhǎng)時(shí)間。它們還將變得更加靈活、便攜。

而萊迪思FPGA將是筆記本電腦實(shí)現(xiàn)這些新功能的關(guān)鍵。在SoC之外處理工作可延長(zhǎng)SoC的睡眠狀態(tài)，僅在需要使用其計(jì)算能力時(shí)才將其喚醒，這將大幅降低功耗。在硬件上實(shí)現(xiàn)AI以及傳感器集線器，可以連接多個(gè)攝像頭、麥克風(fēng)和其他傳感器，意味著SoC停止工作的時(shí)間更長(zhǎng)。聚合多路信號(hào)的I/O集線器有助于減少信號(hào)數(shù)量，實(shí)現(xiàn)基于AI的傳感器聚合，筆記本電腦的構(gòu)建因此更加簡(jiǎn)單，還能提供更豐富的用戶體驗(yàn)。

萊迪思的FPGA為這些集線器提供了硬件平臺(tái)，sensAI解決方案集合則使AI功能更易實(shí)現(xiàn)。兩者結(jié)合可以幫助開(kāi)發(fā)人員制造更輕便、功耗更低的筆記本電腦，為2020年代的企業(yè)和個(gè)人用戶提供更強(qiáng)大的生產(chǎn)力工具。

參考資料

1https://www.gartner.com/en/newsroom/press-releases/2020-01-13-gartner-says-worldwide-pc-

shipments-grew-2-point-3-percent-in-4q19-and-point-6-percent-for-the-year