【AI簡報20230721期】全球前十大MCU廠商榜單出爐，2024年將可以手機(jī)端運(yùn)行大模型？

1. ICCV 2023 | 超越 NanoDet, 騰訊聯(lián)合比特幣礦機(jī)制造商MicroBT發(fā)表 68.77k 的超輕量目標(biāo)檢測器

原文：https://mp.weixin.qq.com/s/7fAEUwAx9RRNcb-k9Dxrrg

導(dǎo)讀

今天給大家介紹的這個工作更多的關(guān)注邊緣設(shè)備的高效目標(biāo)檢測器如何通過設(shè)計(jì)探索在能耗和性能間的權(quán)衡。該研究引入了一個新的目標(biāo)檢測器FemtoDet，此檢測器使用了低能耗組件，同時提出了一種卷積優(yōu)化的新方法和一種優(yōu)化訓(xùn)練策略。

低能源架構(gòu)的發(fā)現(xiàn)

文章首先分析了各種卷積神經(jīng)網(wǎng)絡(luò)，以找出低能耗的架構(gòu)。這包括選擇激活函數(shù)、卷積運(yùn)算符和特征融合結(jié)構(gòu)。作者認(rèn)為這些在過去的工作中被忽視的細(xì)節(jié)嚴(yán)重影響了檢測器的能耗。

FemtoDet 的構(gòu)建

基于上述低能耗架構(gòu)的發(fā)現(xiàn)，作者設(shè)計(jì)并提出了一種名為FemtoDet的新型目標(biāo)檢測器。同昨天上海交大提出的 50K 大小的 EGE-UNet類似，F(xiàn)emtoDet也僅有 68.77k 的參數(shù)，但卻能夠在PASCAL VOC測試集上達(dá)到了 46.3 的 AP50 得分；與此同時，該方法在Qualcomm Snapdragon 865 CPU平臺上的功耗僅為 1.11 瓦，運(yùn)行幀率達(dá)到驚人的 64.47 FPS。只能說在大模型橫行的今天，也算是給廣大低端玩家一絲慰藉與希望了，換個思路我們還能比比看誰更小，哈哈~~~

卷積優(yōu)化與訓(xùn)練策略

正如我們前面提到的，這里還提出了一種名為實(shí)例邊界增強(qiáng)（Instance Boundary Enhancement，IBE）的模塊，以優(yōu)化卷積并解決 CNN 有限容量與檢測任務(wù)在多樣空間表示中的矛盾。此外，為了解決輕量級檢測器由于數(shù)據(jù)增強(qiáng)產(chǎn)生的數(shù)據(jù)偏移問題，作者提出了一種遞歸啟動（Recursive Warm-restart，RecWR）的訓(xùn)練策略。這兩種方法都在 PASCAL VOC 數(shù)據(jù)集上進(jìn)行了評估。

結(jié)果表明 IBE 可以在不增加額外參數(shù)的情況下提高 FemtoDet 約 7.72% 的性能，RecWR 則通過逐步減弱數(shù)據(jù)增強(qiáng)強(qiáng)度，在多階段學(xué)習(xí)中可以提高 FemtoDet 約 6.19% 的性能。

應(yīng)用場景

FemtoDet 特別適用于層次化的智能芯片，可以實(shí)現(xiàn)快速的響應(yīng)和警報。例如，它在 TJU-DHD 數(shù)據(jù)集的行人檢測中表現(xiàn)出 85.8 的 AR20 和 76.3 的 AP20，同時在中大型物體檢測上表現(xiàn)出色。同時，F(xiàn)emtoDet 在 AP50或AP20 和中等難度的數(shù)據(jù)場景（例如VOC）上表現(xiàn)良好，均能在一定成都反映其應(yīng)用能力。

目標(biāo)檢測

其實(shí)，不知道大家發(fā)現(xiàn)沒，近幾年這種純檢測的文章已經(jīng)很少了，我們就趁這個契機(jī)一起回顧下以前的知識，今天大家粗略的過一遍。

眾所周知，基于深度學(xué)習(xí)的目標(biāo)檢測發(fā)展歷程主要涉及兩大類：二階段檢測器和一階段檢測器。

二階段檢測器首先從圖像中生成區(qū)域提議，然后從這些提議中生成最終的預(yù)測框。雖然二階段檢測器相較于一階段檢測器在準(zhǔn)確性上更高，但在邊緣設(shè)備上實(shí)現(xiàn)低延遲仍有困難，所以除了打比賽等特殊情況，基本全是單階段目標(biāo)檢測器的身影，特別是涉及實(shí)際應(yīng)用。

一階段檢測器又可分為基于錨點(diǎn)和無錨點(diǎn)的兩種類型，這取決于是否在整個圖像中注入 Anchor 先驗(yàn)以實(shí)現(xiàn)框回歸。例如，SSD 就是一種典型的基于錨點(diǎn)的一階段檢測器，它將邊界框的輸出空間離散化為一組在每個特征圖位置具有不同寬高比和尺度的默認(rèn)錨點(diǎn)。YOLO 系列也是一種典型的基于錨點(diǎn)的檢測器，這一塊相信大家比奶蓋還熟悉。其次，無錨點(diǎn)檢測器則旨在消除預(yù)定義的錨點(diǎn)框集，如CornerNet通過預(yù)測物體的兩個關(guān)鍵點(diǎn)（通過邊界框的左上角和右下角）來檢測物體，CenterNet類似，而FCOS則通過提出一個全卷積的一階段目標(biāo)檢測器來消除錨點(diǎn)設(shè)置。

盡管一階段和二階段的目標(biāo)檢測方法在許多具有挑戰(zhàn)性的公共數(shù)據(jù)集，如 COCO 和 TJU-DHD 上取得了高性能，但對于部署在邊緣設(shè)備的檢測器來說，檢測的延遲和功耗是關(guān)鍵問題。為了解決檢測延遲的問題，許多研究致力于實(shí)現(xiàn)準(zhǔn)確性和效率之間的平衡，如 FastYOLO、YOLObite 以及不得不提的 NanoDet。然而，無論是精度優(yōu)先還是延遲優(yōu)先的檢測器都沒有考慮到它們的能量消耗。高能耗的檢測器對于部署在邊緣的設(shè)備來說是不友好的。因此，本文的目標(biāo)是開發(fā)一種輕量級檢測器，可以實(shí)現(xiàn)能量和性能之間的權(quán)衡。

FemtoDet

FemtoDet的設(shè)計(jì)主要關(guān)注兩個部分，即低能耗檢測器的基準(zhǔn)設(shè)定以及有關(guān)能耗方面的相關(guān)探索。

首先，作者為設(shè)計(jì)低能耗檢測器提供了基準(zhǔn)，探索了激活函數(shù)、卷積運(yùn)算符和檢測器的Neck結(jié)構(gòu)。激活函數(shù)、卷積運(yùn)算符和解碼器是構(gòu)成目標(biāo)檢測的三大基本元素，對模型的性能和能耗有重要影響。例如，常用的激活函數(shù)如ReLU、GELU、Swish和SiLU等由于參數(shù)和浮點(diǎn)運(yùn)算量較少，被廣泛應(yīng)用于目標(biāo)檢測中。所以通過在同一架構(gòu)中計(jì)算不同激活函數(shù)的能耗，可以研究哪種激活函數(shù)更適合設(shè)計(jì)能源導(dǎo)向的檢測器。

其次，基于低能耗檢測器的設(shè)計(jì)基準(zhǔn)，作者提供了一種名為FemtoDet的面向能源的輕量級檢測器。FemtoDet 通過兩種設(shè)計(jì)進(jìn)行優(yōu)化：實(shí)例邊界增強(qiáng)(IBE)模塊用于改善 FemtoDet 中的深度可分離卷積(DSC)，克服了輕量級模型的表示優(yōu)化瓶頸；遞歸熱重啟(RecWR)訓(xùn)練策略則是一種多階段的遞歸熱重啟學(xué)習(xí)過程，可以克服由 strong 的數(shù)據(jù)增強(qiáng)產(chǎn)生的數(shù)據(jù)轉(zhuǎn)移。后面我們會為大家一一介紹。

此外，為了全面評估模型的能耗和它們實(shí)現(xiàn)能源與性能權(quán)衡的能力，除了常用的 Top1-Acc（用于圖像分類）和 mAP（用于目標(biāo)檢測）度量之外，作者還提出了 Power（能源成本）和 mEPT（平均能源與性能權(quán)衡）這兩種評價指標(biāo)。

實(shí)例邊界增強(qiáng)模塊

IBE 模塊這是一種專為優(yōu)化輕量級檢測器而設(shè)計(jì)的模塊。由于輕量級模型的表征能力有限，它們學(xué)習(xí)的特征往往較為分散。IBE 模塊的目的是改進(jìn) FemtoDet 中的深度可分離卷積（Depthwise Separable Convolutions，DSC），從而克服輕量級模型表征優(yōu)化的瓶頸。

IBE 模塊是基于因式分解為深度和點(diǎn)狀層的卷積層設(shè)計(jì)的。它還引入了一個雙重標(biāo)準(zhǔn)化機(jī)制。具體地，該模塊通過設(shè)計(jì)新的局部描述符、語義投影器和雙重標(biāo)準(zhǔn)化層來增強(qiáng) DSC。特別是， 的局部描述符是通過集成梯度提示周圍的線性變換生成的參數(shù)重用機(jī)制。因此，對象邊界信息可以在局部描述符中找到。然后，我們利用這些對象邊界信息來增強(qiáng)上述標(biāo)準(zhǔn)操作（如深度卷積）的噪聲特征表示。

最后，我們將局部描述符和深度卷積之間的特征添加的對象邊界提示結(jié)合起來，引導(dǎo)模型學(xué)習(xí)實(shí)例的有效表示。細(xì)化的結(jié)果大家可以從上面的可視化結(jié)果圖(c)中看到。

遞歸熱重啟訓(xùn)練策略

強(qiáng)數(shù)據(jù)增強(qiáng)（Strong Augmentation，SA）廣泛用于目前檢測，但是作者發(fā)現(xiàn)，當(dāng)前的訓(xùn)練策略不能充分利用 SA 產(chǎn)生的多樣性訓(xùn)練表示，以提高在真實(shí)驗(yàn)證數(shù)據(jù)上的泛化能力。

因此，本文提出了一個有效的訓(xùn)練策略，即遞歸熱重啟（RecWR）。整個訓(xùn)練過程可以分為四個階段。從第一階段到第四階段，圖像增強(qiáng)的強(qiáng)度逐漸降低。具體來說，在第一階段的訓(xùn)練中，將組合一些 SA 類型，如MixUp，Mosaic和RandomAffine。從第二階段開始，上述 SA 類型在每個訓(xùn)練階段都會逐漸減弱，直到第四階段。

此外，在開始每個訓(xùn)練階段之前，等待訓(xùn)練的檢測器會加載前一個訓(xùn)練階段的訓(xùn)練權(quán)重作為初始化。實(shí)驗(yàn)發(fā)現(xiàn)，在使用 RecWR 訓(xùn)練 FemtoDet 后，MixUp 也能幫助這些極小的檢測器獲得更好的性能。換句話說，RecWR 利用了 SA 學(xué)習(xí)的多樣性特征，使 FemtoDet 擺脫了次優(yōu)化困境。

實(shí)驗(yàn)

激活函數(shù)

卷積描述

Neck

精度

功耗

總結(jié)

本文提出了一個新穎的實(shí)例邊界增強(qiáng)模塊（IBE）和遞歸熱重啟訓(xùn)練策略（RecWR），以克服極度輕量級檢測器的優(yōu)化問題。實(shí)驗(yàn)結(jié)果表明，盡管提高性能可能會導(dǎo)致能耗增長，但利用ReLU等簡單組件構(gòu)建的能源導(dǎo)向檢測器可以顯著降低這種影響。在VOC，COCO和TJU-DHD數(shù)據(jù)集上，該方法在消耗最少能量的同時，實(shí)現(xiàn)了與當(dāng)前最先進(jìn)技術(shù)相媲美的性能。

2. 全球前十大MCU廠商榜單出爐，MCU產(chǎn)品向高性能、高價值方向邁進(jìn)

原文：https://mp.weixin.qq.com/s/iHjN9IoaadAKdB9ZTDJOQw

電子發(fā)燒友網(wǎng)報道（文/李彎彎）根據(jù)市場調(diào)研機(jī)構(gòu)Yole Intelligence最新報告顯示，2022年MCU總收入市場份額前十中，恩智浦、瑞薩電子和英飛凌排名前三，第四、第五是意法半導(dǎo)體和Microchip，隨后依次是德州儀器、三星、新唐科技、Silicon Labs和華大半導(dǎo)體。

結(jié)合之前MCU的排名情況可以發(fā)現(xiàn)，恩智浦、瑞薩電子、英飛凌、意法半導(dǎo)體和Microchip五家廠商多次霸占前五的位置，這五家廠商占據(jù)全球MCU市場超80%的份額。

全球MCU市場格局

事實(shí)上各機(jī)構(gòu)的統(tǒng)計(jì)會略有不同，排名情況我們只做參考。根據(jù)研究機(jī)構(gòu)IC Insights此前發(fā)布的2021年全球前十大MCU廠商的排名，排名前五的廠商依次是恩智浦、Microchip、瑞薩電子、意法半導(dǎo)體和英飛凌，第六名到第十名依次德州儀器、新唐、羅姆、三星和東芝。

而根據(jù)The Omdia Research的數(shù)據(jù)顯示，2021年全球前十的 MCU廠商榜單中，排名前五的廠商依次是恩智浦、瑞薩電子、意法半導(dǎo)體、英飛凌、Microchip，第六名到第十名則依次是德州儀器、新唐科技、兆易創(chuàng)新、三星、Silicon Labs。

在全球MCU市場中，恩智浦、瑞薩電子、英飛凌、意法半導(dǎo)體和Microchip可以說是穩(wěn)居前列。

恩智浦前身是飛利浦的半導(dǎo)體業(yè)務(wù)部，由飛利浦在1953年創(chuàng)辦，2006年，飛利浦將半導(dǎo)體業(yè)務(wù)賣給了荷蘭的一個私募財團(tuán)，恩智浦半導(dǎo)體公司正式成立。2015年，恩智浦收購了飛思卡爾，完成收購之后，恩智浦成功躋身全球半導(dǎo)體前十行列。2016年，恩智浦首次擠下瑞薩，成為全球最大的MCU供應(yīng)商。之后一直保持領(lǐng)先位置。

瑞薩成立于2003年，在過去十年中，早期的五年里，瑞薩一直是全球最大的MCU供應(yīng)商。近幾年里，瑞薩仍然在MCU領(lǐng)域占據(jù)領(lǐng)先的位置。

據(jù)瑞薩電子全球銷售及市場本部副總裁兼中國總裁賴長青此前公布的市場數(shù)據(jù)，事實(shí)上，2022年瑞薩電子在全球MCU市場份額排名中，居于全球第一的位置，在汽車MCU市場，份額高達(dá)30%，同樣位居第一。（根據(jù)Yole Intelligence，恩智浦、瑞薩和英飛凌2022年的市場份額占比都為18%，中間有0.5%的誤差，這也能看出，三者的市場占比其實(shí)相差不大。）

英飛凌的前身是西門子集團(tuán)的半導(dǎo)體部門，于1999年獨(dú)立發(fā)展。英飛凌的主要產(chǎn)品MCU，在汽車上有著廣泛應(yīng)用，包括車身動力總成、車身控制、通信娛樂系統(tǒng)、安全輔助駕駛等?？蛻舭?a href="http://srfitnesspt.com/tags/博世/" target="_blank">博世、大陸、安波福等Tier1廠商以及一些汽車廠商。

意法半導(dǎo)體成立于1987年，Microchip成立于1989年，長時間的探索和積累，使得這兩家公司在MCU領(lǐng)域各具優(yōu)勢，并一度保持領(lǐng)先地位。

在國內(nèi)市場，兆易創(chuàng)新出貨量多年來保持領(lǐng)先。兆易創(chuàng)新于2013年正式推出首款MCU產(chǎn)品，隨后先后推出全方位覆蓋高中低端市場，涵蓋入門級、主流型和高性能開發(fā)應(yīng)用需求的產(chǎn)品系列。2022年取得進(jìn)一步的突破，正式推出了首款車規(guī)級MCU。根據(jù)電子發(fā)燒友此前的整理，在國內(nèi)上市公司中，2022年兆易創(chuàng)新營業(yè)收入以28.29億元排名第一。

華大半導(dǎo)體于2016年成立MCU事業(yè)部，并在2021年更名為小華半導(dǎo)體。據(jù)小華半導(dǎo)體市場部產(chǎn)品總監(jiān) 張建文近日介紹，小華MCU產(chǎn)品系列涵蓋靜、動、智、車四大系列，分別對應(yīng)超低功耗MCU、電機(jī)控制MCU、通用控制MCU、汽車電子MCU，面向工業(yè)、汽車、家電和物聯(lián)網(wǎng)。

MCU的近況及發(fā)展前景

從目前的情況來看，全球MCU市場汽車電子的規(guī)模最大，其次是工業(yè)控制，兩者占到MCU市場接近60%，之后依次是計(jì)算機(jī)、消費(fèi)電子等。國外主要的廠商，恩智浦、Microchip、瑞薩電子、ST、英飛凌等的產(chǎn)品也主要以汽車和工業(yè)為主。

在過去幾年時間里，MCU經(jīng)歷了很大的波動，從前期需求旺盛，價格飛漲，到隨后需求低迷，價格持續(xù)下跌，庫存高企。Yole Intelligence的最新報告顯示，全球許多經(jīng)濟(jì)體仍在經(jīng)歷疫情大流行后的復(fù)蘇和調(diào)整過程，這對半導(dǎo)體市場的影響仍在，預(yù)計(jì)2023年MCU出貨量較2022年下降近10%。

不過，產(chǎn)品的結(jié)構(gòu)發(fā)生了重大轉(zhuǎn)變，轉(zhuǎn)向更先進(jìn)、價格更高的產(chǎn)品。這預(yù)計(jì)也將使得MCU的平均銷售價格同比上升12%，收入預(yù)計(jì)將增長2%。

在今年早些時候，英飛凌就表示，半導(dǎo)體市場的分化明顯，汽車、可再生能源和安全領(lǐng)域?qū)Π雽?dǎo)體的需求仍然強(qiáng)勁，消費(fèi)產(chǎn)品的需求則出現(xiàn)周期性放緩。隨著電動出行和ADAS持續(xù)增長，客戶更愿意簽署產(chǎn)能保留協(xié)議或下更長的承諾訂單，以確保半導(dǎo)體供應(yīng)。

英飛凌也在今年3月宣布，與臺灣聯(lián)華電子就車用MCU簽訂長期合作協(xié)議，擴(kuò)大英飛凌MCU在聯(lián)電的產(chǎn)能，以擴(kuò)展車用市場。

近些年，各廠商將產(chǎn)品、產(chǎn)能更多的向汽車、工業(yè)轉(zhuǎn)型的情況，在中國市場表現(xiàn)更為明顯。比如兆易創(chuàng)新，其MCU產(chǎn)品更多的應(yīng)用于消費(fèi)電子領(lǐng)域，但2022年其MCU產(chǎn)品在工業(yè)領(lǐng)域、網(wǎng)通領(lǐng)域營收實(shí)現(xiàn)較大幅度的增長，且在汽車前裝應(yīng)用領(lǐng)域亦實(shí)現(xiàn)良好成長。

日前，華大半導(dǎo)體有限公司副總經(jīng)理劉勁梅介紹，華大2017年就把發(fā)展汽車芯片當(dāng)成主攻方向，經(jīng)過這么多年的推進(jìn)，今天芯片國產(chǎn)化已經(jīng)進(jìn)入到了新的階段。她認(rèn)為，一些低端芯片已經(jīng)基本解決，一些高性能的芯片也在解決中。一些優(yōu)秀的芯片廠商，已經(jīng)開始跟車廠一起開始做芯片解決方案，直接和車廠溝通確定基本的方案然后由tier1廠商實(shí)現(xiàn)。

小結(jié)

整體而言，當(dāng)前MCU的出貨情況仍然沒有迎來上漲，不過MCU的市場需求分化明顯，汽車、工業(yè)領(lǐng)域需求仍然強(qiáng)勁。國內(nèi)外廠商都較多的將產(chǎn)品轉(zhuǎn)向汽車等市場，對于企業(yè)來說，雖然出貨量仍然在下滑，不過因?yàn)楫a(chǎn)品結(jié)構(gòu)變化，價格價高的產(chǎn)品出貨更多，整體收入?yún)s呈現(xiàn)增長。而在國內(nèi)，近些年各廠商從消費(fèi)電子向汽車領(lǐng)域的轉(zhuǎn)型更為明顯。

3. 更強(qiáng)的Llama 2開源，可直接商用：一夜之間，大模型格局變了

原文：https://mp.weixin.qq.com/s/klFWFXCbjGaWZ7HO1KFZag

一夜之間，大模型格局再次發(fā)生巨變。

一直以來 Llama 可以說是 AI 社區(qū)內(nèi)最強(qiáng)大的開源大模型。但因?yàn)殚_源協(xié)議問題，一直不可免費(fèi)商用。

今日，Meta 終于發(fā)布了大家期待已久的免費(fèi)可商用版本 Llama 2。

此次 Meta 發(fā)布的 Llama 2 模型系列包含 70 億、130 億和 700 億三種參數(shù)變體。此外還訓(xùn)練了 340 億參數(shù)變體，但并沒有發(fā)布，只在技術(shù)報告中提到了。

據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長度也翻倍，并采用了分組查詢注意力機(jī)制。具體來說，Llama 2 預(yù)訓(xùn)練模型是在 2 萬億的 token 上訓(xùn)練的，精調(diào) Chat 模型是在 100 萬人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。

公布的測評結(jié)果顯示，Llama 2 在包括推理、編碼、精通性和知識測試等許多外部基準(zhǔn)測試中都優(yōu)于其他開源語言模型。

接下來，我們就從 Meta 公布的技術(shù)報告中，詳細(xì)了解下 Llama 2。

• 論文地址：https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

• 項(xiàng)目地址：https://github.com/facebookresearch/llama

總的來說，作為一組經(jīng)過預(yù)訓(xùn)練和微調(diào)的大語言模型（LLM），Llama 2 模型系列的參數(shù)規(guī)模從 70 億到 700 億不等。其中的 Llama 2-Chat 針對對話用例進(jìn)行了專門優(yōu)化。

Llama 2 模型系列除了在大多數(shù)基準(zhǔn)測試中優(yōu)于開源模型之外，根據(jù) Meta 對有用性和安全性的人工評估，它或許也是閉源模型的合適替代品。

Meta 詳細(xì)介紹了 Llama 2-Chat 的微調(diào)和安全改進(jìn)方法，使社區(qū)可以在其工作基礎(chǔ)上繼續(xù)發(fā)展，為大語言模型的負(fù)責(zé)任發(fā)展做出貢獻(xiàn)。

預(yù)訓(xùn)練

為了創(chuàng)建全新的 Llama 2 模型系列，Meta 以 Llama 1 論文中描述的預(yù)訓(xùn)練方法為基礎(chǔ)，使用了優(yōu)化的自回歸 transformer，并做了一些改變以提升性能。

具體而言，Meta 執(zhí)行了更穩(wěn)健的數(shù)據(jù)清理，更新了混合數(shù)據(jù)，訓(xùn)練 token 總數(shù)增加了 40%，上下文長度翻倍。下表 1 比較了 Llama 2 與 Llama 1 的詳細(xì)數(shù)據(jù)。

Llama 2 的訓(xùn)練語料庫包含了來自公開可用資源的混合數(shù)據(jù)，并且不包括 Meta 產(chǎn)品或服務(wù)相關(guān)的數(shù)據(jù)。Llama 2 采用了 Llama 1 中的大部分預(yù)訓(xùn)練設(shè)置和模型架構(gòu)，包括標(biāo)準(zhǔn) Transformer 架構(gòu)、使用 RMSNorm 的預(yù)歸一化、SwiGLU 激活函數(shù)和旋轉(zhuǎn)位置嵌入。

在超參數(shù)方面，Meta 使用 AdamW 優(yōu)化器進(jìn)行訓(xùn)練，其中 β1 = 0.9，β2 = 0.95，eps = 10^?5。同時使用余弦學(xué)習(xí)率計(jì)劃（預(yù)熱 2000 步），并將最終學(xué)習(xí)率衰減到了峰值學(xué)習(xí)率的 10%。

下圖 5 為這些超參數(shù)設(shè)置下 Llama 2 的訓(xùn)練損失曲線。

在訓(xùn)練硬件方面，Meta 在其研究超級集群（Research Super Cluster, RSC）以及內(nèi)部生產(chǎn)集群上對模型進(jìn)行了預(yù)訓(xùn)練。兩個集群均使用了 NVIDIA A100。

在預(yù)訓(xùn)練的碳足跡方面，Meta 根據(jù)以往的研究方法，利用 GPU 設(shè)備的功耗估算和碳效率，計(jì)算了 Llama 2 模型預(yù)訓(xùn)練所產(chǎn)生的碳排放量。

Llama 2 預(yù)訓(xùn)練模型評估

Meta 報告了 Llama 1、Llama 2 基礎(chǔ)模型、MPT（MosaicML）和 Falcon 等開源模型在標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)上的結(jié)果。

下表 3 總結(jié)了這些模型在一系列流行基準(zhǔn)上的整體性能，結(jié)果表明，Llama 2 優(yōu)于 Llama 1 。

除了開源模型之外，Meta 還將 Llama 2 70B 的結(jié)果與閉源模型進(jìn)行了比較，結(jié)果如下表 4 所示。Llama 2 70B 在 MMLU 和 GSM8K 上接近 GPT-3.5，但在編碼基準(zhǔn)上存在顯著差距

此外，在幾乎所有基準(zhǔn)上，Llama 2 70B 的結(jié)果均與谷歌 PaLM (540B) 持平或表現(xiàn)更好，不過與 GPT-4 和 PaLM-2-L 的性能仍存在較大差距。

微調(diào)

Llama 2-Chat 是數(shù)個月研究和迭代應(yīng)用對齊技術(shù)（包括指令調(diào)整和 RLHF）的成果，需要大量的計(jì)算和注釋資源。

監(jiān)督微調(diào) (SFT)

第三方監(jiān)督微調(diào)數(shù)據(jù)可從許多不同來源獲得，但 Meta 發(fā)現(xiàn)其中許多數(shù)據(jù)的多樣性和質(zhì)量都不夠高，尤其是在使 LLM 與對話式指令保持一致方面。因此，他們首先重點(diǎn)收集了幾千個高質(zhì)量 SFT 數(shù)據(jù)示例，如下表 5 所示。

在微調(diào)過程中，每個樣本都包括一個提示和一個回答。為確保模型序列長度得到正確填充，Meta 將訓(xùn)練集中的所有提示和答案連接起來。他們使用一個特殊的 token 來分隔提示和答案片段，利用自回歸目標(biāo)，將來自用戶提示的 token 損失歸零，因此只對答案 token 進(jìn)行反向傳播。最后對模型進(jìn)行了 2 次微調(diào)。

RLHF

RLHF 是一種模型訓(xùn)練程序，適用于經(jīng)過微調(diào)的語言模型，以進(jìn)一步使模型行為與人類偏好和指令遵循相一致。Meta 收集了代表了人類偏好經(jīng)驗(yàn)采樣的數(shù)據(jù)，人類注釋者可據(jù)此選擇他們更喜歡的兩種模型輸出。這種人類反饋隨后被用于訓(xùn)練獎勵模型，該模型可學(xué)習(xí)人類注釋者的偏好模式，然后自動做出偏好決定。

下表 6 報告了 Meta 長期以來收集到的獎勵建模數(shù)據(jù)的統(tǒng)計(jì)結(jié)果，并將其與多個開源偏好數(shù)據(jù)集進(jìn)行了對比。他們收集了超過 100 萬個基于人類應(yīng)用指定準(zhǔn)則的二元比較的大型數(shù)據(jù)集，也就是元獎賞建模數(shù)據(jù)。

請注意，提示和答案中的標(biāo)記數(shù)因文本領(lǐng)域而異。摘要和在線論壇數(shù)據(jù)的提示通常較長，而對話式的提示通常較短。與現(xiàn)有的開源數(shù)據(jù)集相比，本文的偏好數(shù)據(jù)具有更多的對話回合，平均長度也更長。

獎勵模型將模型響應(yīng)及其相應(yīng)的提示（包括前一輪的上下文）作為輸入，并輸出一個標(biāo)量分?jǐn)?shù)來表示模型生成的質(zhì)量（例如有用性和安全性）。利用這種作為獎勵的響應(yīng)得分，Meta 在 RLHF 期間優(yōu)化了 Llama 2-Chat，以更好地與人類偏好保持一致，并提高有用性和安全性。

在每一批用于獎勵建模的人類偏好注釋中，Meta 都拿出 1000 個樣本作為測試集來評估模型，并將相應(yīng)測試集的所有提示的集合分別稱為「元有用性」和「元安全性」。

下表 7 中報告了準(zhǔn)確率結(jié)果。不出所料，Meta 自己的獎勵模型在基于 Llama 2-Chat 收集的內(nèi)部測試集上表現(xiàn)最佳，其中「有用性」獎勵模型在「元有用性」測試集上表現(xiàn)最佳，同樣，「安全性」獎勵模型在「元安全性」測試集上表現(xiàn)最佳。

總體而言，Meta 的獎勵模型優(yōu)于包括 GPT-4 在內(nèi)的所有基線模型。有趣的是，盡管 GPT-4 沒有經(jīng)過直接訓(xùn)練，也沒有專門針對這一獎勵建模任務(wù)，但它的表現(xiàn)卻優(yōu)于其他非元獎勵模型。

縮放趨勢。Meta 研究了獎勵模型在數(shù)據(jù)和模型大小方面的縮放趨勢，在每周收集的獎勵模型數(shù)據(jù)量不斷增加的情況下，對不同的模型大小進(jìn)行了微調(diào)。下圖 6 報告了這些趨勢，顯示了預(yù)期的結(jié)果，即在類似的數(shù)據(jù)量下，更大的模型能獲得更高的性能。

• 近端策略優(yōu)化 (PPO)；
• Rejection 采樣微調(diào)。

RLHF 結(jié)果

• 按照學(xué)術(shù)和研究標(biāo)準(zhǔn)，本文擁有一個 4k 提示的大型提示集。但是，這并不包括這些模型在現(xiàn)實(shí)世界中的使用情況，而現(xiàn)實(shí)世界中的使用情況可能要多得多。
• 提示語的多樣性可能是影響結(jié)果的另一個因素，例如本文提示集不包括任何編碼或推理相關(guān)的提示。
• 本文只評估了多輪對話的最終生成。更有趣的評估方法可能是要求模型完成一項(xiàng)任務(wù)，并對模型在多輪對話中的整體體驗(yàn)進(jìn)行評分。
• 人類對生成模型的評估本身就具有主觀性和噪聲性。因此，使用不同的提示集或不同的指令進(jìn)行評估可能會產(chǎn)生不同的結(jié)果。

安全性

• 真實(shí)性，指語言模型是否會產(chǎn)生錯誤信息，采用 TruthfulQA 基準(zhǔn)；
• 毒性，指語言模型是否會產(chǎn)生「有毒」、粗魯、有害的內(nèi)容，采用 ToxiGen 基準(zhǔn)；
• 偏見，指語言模型是否會產(chǎn)生存在偏見的內(nèi)容，采用 BOLD 基準(zhǔn)。

預(yù)訓(xùn)練的安全性

安全微調(diào)

4. 手機(jī)端運(yùn)行大模型？Meta和高通達(dá)成協(xié)議，2024年推出“手機(jī)版Llama 2

原文：https://new.qq.com/rain/a/20230719A07B0I00

就在Meta官宣將與微軟攜手發(fā)布開源AI模型可商用版本Llama 2后，高通發(fā)布公告稱，將和Meta合作，2024年推出 “手機(jī)版Llama 2”。

Meta和高通的“野心”昭然若揭？

高通7月19日的最新公告顯示，從2024年起，Llama 2將能在旗艦智能手機(jī)和PC上運(yùn)行：

客戶、合作伙伴和開發(fā)人員能構(gòu)建智能虛擬助手、生產(chǎn)力應(yīng)用、內(nèi)容創(chuàng)建工具、娛樂等用例，AI功能可以在沒有網(wǎng)絡(luò)連接的地方，甚至在飛行模式下運(yùn)行。

2024年在智能手機(jī)、PC、VR/AR頭顯和汽車等終端上運(yùn)行Llama 2一類的生成式AI模型，將支持開發(fā)者節(jié)省云成本，并為用戶提供更加私密、可靠和個性化的體驗(yàn)。

高通技術(shù)公司高級副總裁兼邊緣云計(jì)算解決方案業(yè)務(wù)總經(jīng)理Durga Malladi表示，為了有效地將生成式人工智能推廣到主流市場，人工智能將需要同時在云端和邊緣終端（如智能手機(jī)、筆記本電腦、汽車和物聯(lián)網(wǎng)終端）上運(yùn)行。

高通表示和基于云端的大語言模型相比，在智能手機(jī)等設(shè)備上運(yùn)行Llama 2 等大型語言模型的邊緣云計(jì)算具有許多優(yōu)勢，不僅成本更低、性能更好、可以在斷網(wǎng)的情況下工作，而且可以提供更個性化、更安全的AI服務(wù)。

對于市場而言，高通并沒有趕上本輪AI熱潮，年內(nèi)股價漲幅甚至不及英偉達(dá)的1/10。

在這種情況下，高通已將AI邊緣計(jì)算定為未來發(fā)展方向。

高通公司高級副總裁Alex Katouzian5月曾明確表示，高通正在從一家通信公司過渡到一家智能邊緣計(jì)算公司：

“隨著連接設(shè)備和數(shù)據(jù)流量加速增長，疊加數(shù)據(jù)中心成本攀升，（我們）不可能將所有內(nèi)容都發(fā)送到云端?！?/span>

不久前，高通已發(fā)布了全球首個在安卓手機(jī)上運(yùn)行的Stable Diffusion終端側(cè)演示，演示中，搭載驍龍芯片的手機(jī)可以直接運(yùn)行參數(shù)規(guī)模超過10億的Stable Diffusion，且只需要15秒左右就可以出圖。

“混合AI”新未來已至？

“混合”，就意味著云端要和手機(jī)、PC、XR頭顯、汽車這些終端設(shè)備協(xié)同工作，而不是單打獨(dú)斗，混合AI架構(gòu)會根據(jù)大模型和查詢需求的復(fù)雜度，將任務(wù)負(fù)載以不同方式分配到云端和終端上。

這種混合AI架構(gòu)能帶來的優(yōu)勢是很明顯的，比如在成本、能耗、性能、隱私、安全和個性化等方面，本地化處理的融入都可以帶來很多加分項(xiàng)。

國盛證券指出，在AI向?qū)嶋H場景落地時，邊緣算力的重要性加速凸顯，邊緣算力在成本、時延、隱私上具有天然優(yōu)勢，也可以作為橋梁，預(yù)處理海量復(fù)雜需求，并將其導(dǎo)向大模型。

因此，AI應(yīng)用將逐步從中心節(jié)點(diǎn)向更貼近數(shù)據(jù)源和業(yè)務(wù)現(xiàn)場的邊緣側(cè)拓展，邊緣計(jì)算合理利用邊緣側(cè)算力和實(shí)時數(shù)據(jù)，使機(jī)器學(xué)習(xí)模型提供的智能服務(wù)更加便捷和貼近應(yīng)用，有望打通行業(yè)細(xì)分、多元化場景落地瓶頸。

5. AI遭近萬名作家圍剿，版權(quán)大戰(zhàn)將如何塑造AI產(chǎn)業(yè)方向？

原文：https://finance.sina.com.cn/blockchain/roll/2023-07-20/doc-imzchwtv9479064.shtml

針對人工智能的版權(quán)大戰(zhàn)迎來了新階段，周二美國8500名作家在一封聯(lián)名信中要求人工智能公司賠償其版權(quán)損失。

聯(lián)名作家中包括普利策獎獲獎小說家詹妮弗·伊根、邁克爾·查邦和路易絲·厄德里奇等人，這些知名作家的加入也讓版權(quán)戰(zhàn)爭變得更具分量。

聯(lián)名信中寫道，數(shù)以百萬計(jì)的受版權(quán)保護(hù)的書籍、文章、詩歌等作品，成為了人工智能的養(yǎng)料，且不用付任何費(fèi)用，這是不合理的。人工智能獲得了數(shù)十億美元的開發(fā)資金，現(xiàn)在應(yīng)該對使用著作而付出補(bǔ)償。

這封信并非針對單一公司，OpenAI、微軟、Meta和其他人工智能公司都在警告范圍內(nèi)。美國作家協(xié)會稱，若得不到補(bǔ)償，作家將無力繼續(xù)創(chuàng)作，人工智能只能借鑒現(xiàn)有的故事，變得越來越平庸。

老大難的版權(quán)問題

人工智能固然大大推動了這一技術(shù)在市場上的關(guān)注度，但隨著時間過去，越來越多的人開始意識到人工智能背后涉及的版權(quán)問題可能相當(dāng)棘手。

美國作家協(xié)會要求人工智能企業(yè)做到三點(diǎn)：在使用材料前先獲得著作者許可；公平補(bǔ)償過去和現(xiàn)在已被使用素材的作者的損失；補(bǔ)償人工智能輸出相關(guān)版權(quán)內(nèi)容所造成的損失。

目前，該協(xié)會尚未提出任何法律威脅，該協(xié)會首席執(zhí)行官M(fèi)ary Rasenberger指出，由于訴訟需要巨額費(fèi)用，作家們需要很長時間來準(zhǔn)備訴訟。

另一方面，人工智能公司都謹(jǐn)慎地對版權(quán)問題保持沉默，沒有一家公司希望做出頭鳥。連美國政府也對這一矛盾左右為難。

上周，美國國會討論了人工智能與版權(quán)保護(hù)之間的關(guān)系，參與聽證的Stability AI公司公共政策主管Ben Brooks透露，該公司收到超過1.6億個退出請求，因?yàn)閯?chuàng)作者不希望自己的圖像被人工智能模型用以訓(xùn)練。

而在被問到是否應(yīng)該付費(fèi)時，Brooks回避稱，發(fā)展模型需要數(shù)據(jù)多樣性。

參議員Marsha Blackburn抨擊道，所謂合理使用數(shù)據(jù)已經(jīng)成為竊取知識產(chǎn)權(quán)的一種有效方法。

可能性

這一問題在國際上的討論也相當(dāng)曲折。由于各國政府都希望發(fā)展自己的人工智能產(chǎn)業(yè)，因此對數(shù)據(jù)版權(quán)問題都抱有投鼠忌器的心態(tài)，目前為止，只有英國表示將放寬受版權(quán)保護(hù)材料的使用規(guī)則。

然而，雖然英國允許AI公司未經(jīng)權(quán)利人許可的情況下使用材料訓(xùn)練人工智能模型，但對于合法訪問的數(shù)據(jù)又存在模糊界限，這代表人工智能與版權(quán)的沖突仍舊突出。

有人借鑒音樂在21世紀(jì)初期的版權(quán)戰(zhàn)爭，當(dāng)時Napster播放器獲得了幾乎所有人的歡迎，但其對版權(quán)的忽略引發(fā)了業(yè)內(nèi)主要唱片公司的憤怒。最后，所有的利益相關(guān)者坐下來談判，由公司出面進(jìn)行許可交易并界定如何合法引入內(nèi)容。

這也極大的改變了音樂行業(yè)的游戲規(guī)則，免費(fèi)播放器幾乎沒有生存之地，目前的音樂軟件都通過收費(fèi)來向版權(quán)方支付版權(quán)費(fèi)用。

反觀目前的人工智能產(chǎn)業(yè)，如ChatGPT已經(jīng)通過收費(fèi)來維持運(yùn)營，但爭議點(diǎn)在于，其并沒有在收費(fèi)中考慮有關(guān)于版權(quán)使用所需要支付的成本。

AI初創(chuàng)公司W(wǎng)ombo的Ryan Khurana認(rèn)為，人工智能很可能演變出一個類似于音樂的許可制度。但律師Matthew Butterick認(rèn)為類似的想法有些災(zāi)難性，畢竟人工智能涉及的范圍更加廣泛。

還有人則聲稱，或許可以設(shè)立一項(xiàng)基金來補(bǔ)償受到人工智能模型訓(xùn)練影響的人。但另一個問題出現(xiàn)：藝術(shù)家們對一次性許可費(fèi)并不愿意買賬，分成和買斷的收益差距巨大。

更尖銳的問題是，技術(shù)專家Andy Baio指出，藝術(shù)家們受限于昂貴的訴訟費(fèi)用，很可能讓版權(quán)戰(zhàn)爭變成曠日持久的消耗戰(zhàn)。因此人工智能版權(quán)最開始的那幾場版權(quán)訴訟結(jié)果將至關(guān)重要，將變成這一問題的風(fēng)向標(biāo)。

———————End———————

點(diǎn)擊閱讀原文進(jìn)入官網(wǎng)