DNN與邏輯回歸效果一樣？

谷歌用深度學(xué)習(xí)分析電子病例的重磅論文給出了一個意外的實驗結(jié)果，DNN與邏輯回歸效果一樣，引發(fā)了熱烈討論。不僅如此，最近Twitter討論最多的論文，是UC戴維斯和斯坦福的一項合作研究，作者發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是多項式回歸。下次遇到機器學(xué)習(xí)問題，你或許該想想，是不是真的有必要用深度學(xué)習(xí)。

近來，谷歌一篇關(guān)于使用深度學(xué)習(xí)進行電子病例分析的論文，再次引發(fā)熱議。

起因是以色列理工學(xué)院工業(yè)工程與管理學(xué)院的助理教授 Uri Shalit 在 Twitter 上發(fā)文，指出這篇論文的補充材料里，有一處結(jié)果非常值得注意：標準化邏輯回歸實質(zhì)上與深度神經(jīng)網(wǎng)絡(luò)一樣好。

Uri Shalit 的研究方向是將機器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域，尤其是在向醫(yī)生提供基于大型健康數(shù)據(jù)的決策支持工具方面。其次，他也研究機器學(xué)習(xí)和因果推斷的交集，重點是使用深度學(xué)習(xí)方法進行因果推斷。在加入以色列理工學(xué)院以前，他先后在 David Sontag 教授在紐約大學(xué)和在 MIT 的臨床機器學(xué)習(xí)實驗室當(dāng)博士后。 Uri Shalit 說的補充材料中的結(jié)果是指這個：

其中，基線 aEWS（augmented Early Warning Score）是一個有 28 個因子的邏輯回歸模型，在論文作者對預(yù)測患者死亡率的傳統(tǒng)方法 EWS 進行的擴展。而 Full feature simple baseline 則是 Uri Shalit 說的標準化邏輯回歸。

注意到基線模型（紅框標識）和深度模型在 AUCs 置信區(qū)間的重疊了嗎？

Uri Shalit 表示，他由此得出的結(jié)論是，在電子病例分析這類任務(wù)中，應(yīng)該選擇使用邏輯回歸，而不是深度學(xué)習(xí)，因為前者更加簡單，更具可解釋性，這些優(yōu)點要遠遠勝過深度學(xué)習(xí)帶來的微小的精度提升。

或者，Uri Shalit 補充說，這表明我們目前還沒有找到正確的深度學(xué)習(xí)結(jié)構(gòu)，能實現(xiàn)在圖像、文本和語音建模領(lǐng)域中那樣的性能提升。

谷歌首篇深度學(xué)習(xí)電子病歷分析論文，Jeff Dean等大牛扛鼎之作，結(jié)果出人意料

谷歌的這篇論文“Scalable and Accurate Deep Learning for Electronic Health Records”，發(fā)表在自然出版集團（NPG）旗下開放獲取期刊 npJ Digital Medicine 上，由 Jeff Dean 率隊，聯(lián)合 UCSF、斯坦福、芝加哥大學(xué)眾多大牛，與全球頂級醫(yī)學(xué)院聯(lián)合完成，從題目到作者都吊足了大家的胃口。

實際上，早在今年初，新智元就介紹過這篇論文，當(dāng)時它還只是掛在 arXiv 上，康奈爾大學(xué)威爾醫(yī)學(xué)院助理教授王飛對當(dāng)時的 arXiv 版本進行了解讀。

這項工作是在 UCSF 和 UChicago 這兩大醫(yī)院系統(tǒng)的電子病歷數(shù)據(jù)上，用深度學(xué)習(xí)模型預(yù)測四件事：1）住院期間的死亡風(fēng)險；2）規(guī)劃之外的再住院風(fēng)險；3）長時間的住院天數(shù)；4）出院的疾病診斷。

文章仔細介紹了實驗信息，例如如何構(gòu)建病人隊列、特征如何變換、算法如何評價等等。對于每一個預(yù)測任務(wù)，作者也都選取了臨床上常用的算法作為基線來進行比較，例如評價死亡風(fēng)險的 EWS 分數(shù)，以及評價再住院風(fēng)險的 HOSPITAL 分數(shù)，并對這些模型做了微小的改進。最終結(jié)果，作者提出的深度學(xué)習(xí)模型在各項任務(wù)中都顯著優(yōu)于傳統(tǒng)模型（AUC 普遍提高 0.1 左右）。

論文插圖：使用深度學(xué)習(xí)預(yù)測病人住院期間死亡風(fēng)險，深度學(xué)習(xí)（實線）在前后24小時時間范圍內(nèi)，都比基線水平（虛線）準確率更高。

如果說這次在同行評議期刊發(fā)表出的論文與之前的 arXiv 版本有什么不同，最大的就是給出了 15 頁的補充資料，展示了深度學(xué)習(xí)方法與各種基線的具體數(shù)值。

谷歌這篇論文的初衷，是強調(diào)直接從 FHIR 數(shù)據(jù)中進行機器學(xué)習(xí)（“我們提出了一種對病人整個基于 FHIR 格式的原始 EHR 的表示”）。正如論文中所寫的那樣，其方法的原創(chuàng)性并不僅僅在于對模型性能的提升，而是“這種預(yù)測性能是在沒有對專家認為重要的那些變量進行手動選擇的情況下實現(xiàn)的……模型訪問每位患者數(shù)以萬計的預(yù)測因子，并從中確定哪些數(shù)據(jù)對于進行特定的預(yù)測非常重要”。

但是，從論文的一些表述，尤其是標題中，難免有宣傳深度學(xué)習(xí)的嫌疑，也是這次爭議重點所在。

UC戴維斯和斯坦福新研究，首次證明神經(jīng)網(wǎng)絡(luò) = 多項式回歸

現(xiàn)如今，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成了很多分析師進行預(yù)測分析的首選。而在大眾媒體里，“深度學(xué)習(xí)”也幾乎可以算得上“人工智能”的同義詞。

深度學(xué)習(xí)的熱潮或許仍在持續(xù)，但很明顯，越來越多的人開始冷靜下來思考并且質(zhì)疑。

在一篇最新公布的文章里，加州大學(xué)戴維斯分校和斯坦福的研究人員便指出，神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項式回歸模型。他們的文章取了一個謹慎的標題《多項式回歸作為神經(jīng)網(wǎng)絡(luò)的代替方法》（Polynomial Regression As an Alternative to Neural Nets），對神經(jīng)網(wǎng)絡(luò)的眾多性質(zhì)進行了討論。

作者在論文中列出了他們這項工作的主要貢獻，包括：

NNAEPR 原理：證明了任何擬合的神經(jīng)網(wǎng)絡(luò)（NN）與擬合的普通參數(shù)多項式回歸（PR）模型之間存在粗略的對應(yīng)關(guān)系；NN 就是 PR 的一種形式。他們把這種松散的對應(yīng)關(guān)系稱為 NNAEPR——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項式模型（Neural Nets Are Essentially Polynomial Models）。

NN 具有多重共線性：用對 PR 的理解去理解 NN，從而對 NN 的一般特性提供了新的見解，還預(yù)測并且確認了神經(jīng)網(wǎng)絡(luò)具有多重共線性（multicollinearity），這是以前未曾在文獻中報道過的。

很多時候 PR 都優(yōu)于 NN：根據(jù) NNAEPR 原理，許多應(yīng)用都可以先簡單地擬合多項式模型，繞過 NN，這樣就能避免選擇調(diào)整參數(shù)、非收斂等問題。作者還在不同數(shù)據(jù)集上做了實驗，發(fā)現(xiàn)在所有情況下，PR 的結(jié)果都至少跟 NN 一樣好，在一些情況下，甚至還超越了 NN。

NNAEPR 原理——神經(jīng)網(wǎng)絡(luò)本質(zhì)上是多項式回歸

其中，作者重點論證了他們的 NNAEPR 原理。此前已經(jīng)有很多工作從理論和實踐角度探討了神經(jīng)網(wǎng)絡(luò)和多項式回歸的共性。但是，UC戴維斯和斯坦福的這幾名研究人員表示，他們的這項工作是首次證明了 NN 就是 PR 模型，他們從激活函數(shù)切入：

根據(jù)通用逼近定理，NN 可以無限逼近回歸函數(shù) r (t)，

假設(shè) p = 2，用 u 和 v 來表示特征，第一層隱藏層的輸入，包括“1”的節(jié)點，將是

設(shè)激活函數(shù)為，那么第一層的輸出將是 u 和 v 的二次函數(shù)。類似地，第二層將產(chǎn)生四次多項式，依此類推，可以生成在回歸函數(shù)空間中密集的多項式。

而對于更加實際的激活函數(shù)，其本身就常常被多項式逼近。因此，也適用于上述規(guī)則。

換句話說，NN 可以被松散地視為多項式回歸的一種。

實驗結(jié)果：多項式回歸在很多時候都優(yōu)于神經(jīng)網(wǎng)絡(luò)

作者進行了很多實驗來比較 PR 與 NN 的性能。在下面的各種結(jié)果中，PR 表示多項式回歸，PCA 表示在生成多項式之前用 90％總方差主成分分析降維。KF 表示通過 Keras API 的神經(jīng)網(wǎng)絡(luò)，默認配置是兩層，一層 256 個單元，一層 128 個單元（寫作 “256，128”），dropout 比例是 0.4。DN 表示通過 R 語言包 deepnet 的神經(jīng)網(wǎng)絡(luò)。DN 會比 KF 快很多，因此在大一些的問題里會用 DN，但兩者性能還是相似的。

硅谷程序員收入預(yù)測的結(jié)果

預(yù)測歌曲出版時間的結(jié)果

UCI 數(shù)據(jù)集字母預(yù)測的結(jié)果

Kaggle 數(shù)據(jù)集出租車旅途時長預(yù)測結(jié)果

哈佛/MIT MOOC獲得證書預(yù)測結(jié)果

NCI 基因數(shù)據(jù)癌癥預(yù)測結(jié)果

男女運動數(shù)據(jù)預(yù)測 Crossfit Open 排名

Crossfit Open 排名，數(shù)據(jù)集大小與預(yù)測精度的比較

總之，一系列實驗結(jié)果表明，PR 至少不會比 NN 差，有些時候還超過了 NN。在實踐中，許多分析師只是一開始就去擬合過大的模型，比如使用很多層，每層有數(shù)百個神經(jīng)元。他們發(fā)現(xiàn)，使用 PR，很少需要超越 2 級，NNAEPR 原理表示，只用一層或者兩層就夠了，每一層有少量的神經(jīng)元。

同時，作者也開始懷疑，擬合大的 NN 模型通常導(dǎo)致大多數(shù)的權(quán)重為0，或接近于0。他們已經(jīng)開始調(diào)查這一點，初步結(jié)果與 NNAEPR 原理相結(jié)合表明，在 NN 初始化中 configur 大型網(wǎng)絡(luò)可能是個糟糕的策略。

最后，他們開源了一個 R 語言的軟件包 polyreg（Python 的正在制作中），里面有很大源代碼可以實現(xiàn)很多功能。