谷歌基于TensorFlow構(gòu)建了全球首個產(chǎn)品級可擴展的大規(guī)模移動端聯(lián)合學(xué)習(xí)系統(tǒng)

谷歌基于TensorFlow構(gòu)建了全球首個產(chǎn)品級可擴展的大規(guī)模移動端聯(lián)合學(xué)習(xí)系統(tǒng)，目前已在數(shù)千萬臺手機上運行。這些手機能協(xié)同學(xué)習(xí)一個共享模型，所有的訓(xùn)練數(shù)據(jù)都留在設(shè)備端，確保了個人數(shù)據(jù)安全，手機端智能應(yīng)用也能更快更低能耗更新。研究人員表示，該系統(tǒng)有望在幾十億部手機上運行。

新年大手筆的不止是騰訊，谷歌近日宣布，他們實現(xiàn)了全球首個產(chǎn)品級的超大規(guī)模移動端分布式機器學(xué)習(xí)系統(tǒng)，目前已經(jīng)能夠在數(shù)千萬部手機上運行。

DeepMind研究科學(xué)家Andrew Trask (他并未參與這項工作) 激動地在Twitter上說，這是2019年“年度最激動人心的論文之一”。

“谷歌公布了他們?nèi)绾卧跀?shù)千萬臺手機上實現(xiàn)可擴展的聯(lián)合學(xué)習(xí)，數(shù)據(jù)安全隱私終于成真，而谷歌是這方面的領(lǐng)跑者！”

Andrew Trask說的，是谷歌日前在arxiv貼出的論文，“Towards Federated Learning at Scale：System Design”，論文描述了前面所說的全球首個產(chǎn)品級可擴展的聯(lián)合學(xué)習(xí)系統(tǒng)，以及該系統(tǒng)的高級設(shè)計和一些挑戰(zhàn)及其解決方案。

聯(lián)合學(xué)習(xí)（FL）是一種分布式機器學(xué)習(xí)方法，可以對保存在移動電話等設(shè)備上的大量分散數(shù)據(jù)進行訓(xùn)練，是“將代碼引入數(shù)據(jù)，而不是將數(shù)據(jù)引入代碼”的更加通用化的一個實現(xiàn)，并解決了關(guān)于隱私、所有權(quán)和數(shù)據(jù)位置等基本問題。

作者在論文中寫道，“據(jù)我們所知，我們描述的系統(tǒng)是第一個產(chǎn)品級(production-level)的聯(lián)合學(xué)習(xí)實現(xiàn)，主要側(cè)重于在移動電話上運行的聯(lián)合平均算法(Federated Averaging algorithm)。

“我們的目標(biāo)是將我們的系統(tǒng)從聯(lián)合學(xué)習(xí)推廣到聯(lián)合計算，聯(lián)合計算將遵循本文所述的相同基本原則，但不限于使用TensorFlow進行機器學(xué)習(xí)計算，而是通用的類似MapReduce的工作負(fù)載。

“我們看到的一個應(yīng)用領(lǐng)域是聯(lián)合分析(Federated Analytics)，它能讓我們監(jiān)控大規(guī)模集群設(shè)備的統(tǒng)計數(shù)據(jù)，而無需將原始設(shè)備數(shù)據(jù)記錄到云中。”

谷歌不愧是谷歌，先不說這一技術(shù)本身的難度和實現(xiàn)難度，由此帶來的對智能云計算產(chǎn)業(yè)的沖擊，也可想而知！

谷歌提出“聯(lián)合學(xué)習(xí)”，實現(xiàn)可擴展的移動端分布式機器學(xué)習(xí)

2017年1月，統(tǒng)計機器學(xué)習(xí)先驅(qū) Michael I. Jordan 在清華演講時指出，我們需要更好更大的分布式機器學(xué)習(xí)系統(tǒng)。

Jordan教授表示，在計算機科學(xué)中，數(shù)據(jù)點數(shù)量的增長是“復(fù)雜性”的來源，必須通過算法或者硬件來訓(xùn)練，而在統(tǒng)計學(xué)中，數(shù)據(jù)點數(shù)量的增長是“簡單性”的來源，它能讓推理在總體上變得更強大，引出漸進式的結(jié)果。

“在形式層上，核心的統(tǒng)計學(xué)理論中缺乏計算機理論中的概念，比如‘runtime’的作用，而在核心的計算理論中又缺乏統(tǒng)計學(xué)概念，比如‘risk’的作用。二者之間的差異（Gap) 顯而易見?！盝ordan教授說。

2017年4月，谷歌在官方博客中發(fā)文，介紹了他們提出的聯(lián)合學(xué)習(xí)（federated learning）。聯(lián)合學(xué)習(xí)也是一種機器學(xué)習(xí)，能夠讓用戶通過移動設(shè)備交互來訓(xùn)練模型。

聯(lián)合學(xué)習(xí)能產(chǎn)生更智能的模型，更低的延時和更少的功耗，同時確保用戶的隱私。過程示意：(A)手機在本地根據(jù)你使用手機的方式將模型個性化，(B)許多用戶的更新會集中起來，(C)在云端形成針對一個共享模型的協(xié)同更新，然后不斷重復(fù)這個過程。來源：Google Blog

根據(jù)谷歌官博介紹，用戶的設(shè)備會下載一個當(dāng)前模型，這個模型會從手機數(shù)據(jù)中學(xué)習(xí)不斷得到改善，然后將變化總結(jié)為一個小的關(guān)鍵更新。只有這個關(guān)鍵更新會以加密的方式被傳到云端，之后這一更新會在云端迅速被其他用戶對共享模型提交的更新平均化（averaged）。

簡單說，所有的訓(xùn)練數(shù)據(jù)都留在用戶的設(shè)備上，而且上傳到云端的個別更新也不會存儲到云端。谷歌研究人員表示，新方法將機器學(xué)習(xí)與云端存儲數(shù)據(jù)的需求脫鉤，讓模型更聰明、延遲更低、更節(jié)能，而且保護用戶隱私不受威脅。

這一方法還有一個間接好處：除了實現(xiàn)共享模型的更新，用戶還能立刻使用改善后的模型，根據(jù)個人使用手機方式的不同，得到的體驗也會不同。

聯(lián)合學(xué)習(xí)僅當(dāng)用戶設(shè)備處于閑置或充電狀態(tài)，并且使用無線網(wǎng)路的時候才發(fā)生，對用戶在移動端的使用體驗不會造成負(fù)面影響。來源：Google Blog

谷歌的研究人員開發(fā)了一個成熟的技術(shù)堆棧，確保聯(lián)合學(xué)習(xí)訓(xùn)練僅當(dāng)用戶設(shè)備處于閑置或充電狀態(tài)，并且使用無線網(wǎng)路的時候才發(fā)生。因此，具體的訓(xùn)練對手機用戶體驗基本沒有什么影響。

當(dāng)時，谷歌研究人員表示，他們正在安卓的谷歌鍵盤Gboard上測試聯(lián)合學(xué)習(xí)。例如，當(dāng)鍵盤給出一個建議問詢時，手機就會在本地存儲相關(guān)信息，比如當(dāng)前的文本，以及你是否點擊了相關(guān)建議。

聯(lián)合學(xué)習(xí)會在設(shè)備上處理這一過程，并對鍵盤問詢建議的迭代提出改善建議。來源：Google Blog

采用同步訓(xùn)練算法，在數(shù)千萬臺手機上實現(xiàn)模型訓(xùn)練和更新

現(xiàn)在，兩年過去，谷歌已經(jīng)實現(xiàn)了首個產(chǎn)品級的聯(lián)合學(xué)習(xí)系統(tǒng)，并發(fā)布論文描述了這一系統(tǒng)的高級設(shè)計理念和現(xiàn)存挑戰(zhàn)。

像剛剛提到的安卓手機谷歌鍵盤查詢建議，也已經(jīng)實現(xiàn)了大規(guī)模應(yīng)用。

圖1：聯(lián)合學(xué)習(xí)流程

谷歌研究人員在論文中寫道，聯(lián)合學(xué)習(xí)基礎(chǔ)架構(gòu)的基本設(shè)計決策的關(guān)鍵問題，是重點關(guān)注異步還是同步訓(xùn)練算法。雖然之前很多關(guān)于深度學(xué)習(xí)的成果都采用了異步訓(xùn)練方式，但最近出現(xiàn)了采用大批量同步訓(xùn)練的趨勢。

再考慮到能夠增強聯(lián)合學(xué)習(xí)中保護隱私的方法，包括差異化隱私策略（McMahan等，2018）和安全聚合（Bonawitz等，2017），這些方法基本上需要一些固定設(shè)備上的同步后的概念，讓學(xué)習(xí)算法的服務(wù)器端可以僅消耗來自眾多用戶的更新信息的簡單聚合。

因此，谷歌研究人員選擇采用同步訓(xùn)練方式?！拔覀兊南到y(tǒng)可以運行大批量SGD式算法和聯(lián)合平均算法，這是我們在生產(chǎn)中運行的主要算法”，算法的偽代碼如下：

論文描述的系統(tǒng)使用TensorFlow訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，對存儲在手機上的數(shù)據(jù)進行訓(xùn)練。用聯(lián)合平均算法對訓(xùn)練數(shù)據(jù)權(quán)重在云中相結(jié)合，構(gòu)建一個全局模型，推送回手機上運行推理過程。安全聚合的實現(xiàn)能夠確保在全球范圍內(nèi)，來自電話的個人更新是無法被窺視的。該系統(tǒng)已推向大規(guī)模應(yīng)用，比如手機鍵盤上。

圖2：設(shè)備架構(gòu)

解決多個實際問題，預(yù)計未來設(shè)備應(yīng)用數(shù)量達(dá)數(shù)十億規(guī)模

谷歌研究人員表示，他們的方法解決了許多實際問題：即以復(fù)雜方式（如時區(qū)依賴性）解決了與本地數(shù)據(jù)分布相關(guān)的設(shè)備的可用性問題，應(yīng)對不可靠的設(shè)備連接和執(zhí)行中斷問題，在可用性存在差異的設(shè)備上對lock-step執(zhí)行的編排問題，以及設(shè)備存儲空間和計算資源受限等問題。

這些問題在通信協(xié)議、設(shè)備和服務(wù)器級別都能得到解決。

“我們的研究已經(jīng)足夠成熟，可以將系統(tǒng)部署到生產(chǎn)環(huán)境中，并解決數(shù)千萬個真實設(shè)備的應(yīng)用學(xué)習(xí)問題；我們預(yù)計未來的設(shè)備應(yīng)用數(shù)量將達(dá)到數(shù)十億的規(guī)模?！?/p>

圖3：聯(lián)合學(xué)習(xí)服務(wù)器架構(gòu)中的構(gòu)成要素

聯(lián)合學(xué)習(xí)方法在設(shè)備上的數(shù)據(jù)比服務(wù)器上存在的數(shù)據(jù)（比如設(shè)備首先生成數(shù)據(jù)）相關(guān)性更高、對隱私更敏感，或者不希望或不可能將數(shù)據(jù)傳輸?shù)椒?wù)器的情況下是最佳的應(yīng)用場景。聯(lián)合學(xué)習(xí)的目前多用于監(jiān)督學(xué)習(xí)任務(wù)，通常利用的是從用戶活動中推斷出的標(biāo)簽（比如點擊操作或鍵入的單詞等）。

設(shè)備上項目排名

移動應(yīng)用程序中機器學(xué)習(xí)的一個常見用途，是從設(shè)備上的庫存中選擇和排序項目。例如，應(yīng)用程序可以公開用于信息檢索或應(yīng)用內(nèi)導(dǎo)航的搜索機制，例如在Google Pixel設(shè)備上的搜索設(shè)置（ai.google，2018）。在設(shè)備上對搜索結(jié)果進行排序，可以免去對服務(wù)器的成本高昂的呼叫（原因可能是延遲、帶寬限制或高功耗），而且，關(guān)于搜索查詢和用戶選擇的任何潛在的隱私信息仍然保留在設(shè)備上。每個用戶與排名特征的交互可以作為標(biāo)記數(shù)據(jù)點，可以在完整排序的項目列表中觀察用戶與其優(yōu)先選項的交互信息。

移動設(shè)備鍵盤輸入內(nèi)容建議

可以通過為用戶輸入的相關(guān)內(nèi)容提供建議（比如與輸入文本相關(guān)的搜索查詢）來提升對用戶的價值。聯(lián)合學(xué)習(xí)可用于訓(xùn)練機器學(xué)習(xí)模型來觸發(fā)建議功能，并對可在當(dāng)前上下文中建議的項目進行排名。谷歌的Gboard移動鍵盤團隊就在使用我們的聯(lián)合學(xué)習(xí)系統(tǒng)，并采用了這種方法。

下一詞預(yù)測

Gboard還使用我們的聯(lián)合學(xué)習(xí)平臺訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)（RNN）用于下一詞預(yù)測。該模型具有約140萬個參數(shù)，在經(jīng)過5天的訓(xùn)練后，處理了來自150萬用戶的6億個句子后，在3000輪聯(lián)合學(xué)習(xí)后實現(xiàn)收斂（每輪大約需要2-3分鐘）。該模型將基線n-gram模型最高召回率從13.0％提高到16.4％，并且其性能與經(jīng)過1.2億步服務(wù)器訓(xùn)練的RNN的性能相當(dāng)。在實時對比實驗中，聯(lián)合學(xué)習(xí)模型的性能優(yōu)于n-gram和服務(wù)器訓(xùn)練的RNN模型。

結(jié)語

在論文中，谷歌研究人員詳細(xì)展示了在安卓手機上對此類算法的系統(tǒng)設(shè)計。

圖4：建模工程師的工作流程

同時，他們也指出，“這項研究目前仍處于早期階段，我們沒有解決所有問題，也無法全面討論所有必需的組件。

“我們在本文中要做的是，描述系統(tǒng)的主要組成部分以及面臨的挑戰(zhàn)，確定哪些問題沒有解決，希望這些工作能夠?qū)ΩM一步的系統(tǒng)研究有所啟發(fā)?！?/p>