“深度學(xué)習(xí)”成為正常操作，網(wǎng)絡(luò)架構(gòu)的革命？

2013年才舉辦第一屆的ICLR（The International Conference on Learning Representations）發(fā)展迅猛，如今已成為是最重要的國際機(jī)器學(xué)習(xí)會(huì)議之一，甚至可以和ICML，NeurIPS和CVPR這些老牌著名會(huì)議相提并論。

2020年會(huì)議定于明年4月26日舉行，但是論文提交截止日期已經(jīng)過去了。這次會(huì)議共提交了2585份論文，比2019年多了約1000份論文。

今年提交論文：

https://openreview.net/group?id=ICLR.cc/2020/Conference

按照這個(gè)速度估計(jì)，24年后，論文提交數(shù)量將達(dá)到10萬份。

我們分析了過去三年里ICLR所有提交的論文的摘要和關(guān)鍵詞，來看看哪些是新的風(fēng)口，而哪些議題正在消逝。今年，28%的論文使用或聲稱使用了最新的算法，所以準(zhǔn)備接受大量的機(jī)器學(xué)習(xí)知識(shí)撲面而來吧！

“深度學(xué)習(xí)”成為正常操作

在計(jì)算機(jī)視覺或自然語言處理中使用深度學(xué)習(xí)，如今就好像魚在水中生活一樣必要而且自然。深度學(xué)習(xí)徹底改變了機(jī)器學(xué)習(xí)，它現(xiàn)在幾乎存在于機(jī)器學(xué)習(xí)的所有領(lǐng)域，甚至那些不太起眼的地方，比如在時(shí)間序列分析或需求預(yù)測(cè)也可以看到它的身影。

可以說深度學(xué)習(xí)已經(jīng)不再是一個(gè)前沿話題，而成了機(jī)器學(xué)習(xí)的正常操作。這也解釋了為什么在關(guān)鍵詞中提及深度學(xué)習(xí)的數(shù)量有所減少——從2018年的19%下降到了2020年的11%。

網(wǎng)絡(luò)架構(gòu)的革命？

圖神經(jīng)網(wǎng)絡(luò)（GNN，Graph Neural Networks）是這一年最熱門的話題之一。GNN是用于圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)。在醫(yī)學(xué)、社交網(wǎng)絡(luò)分類和動(dòng)態(tài)交互對(duì)象行為建模等應(yīng)用中，GNN展示了其巨大優(yōu)勢(shì)。關(guān)于GNN的論文數(shù)量的空前增長，從2018年的12篇發(fā)展到了2020年的111篇！

寂靜的GAN

GAN是近些年最流行的話題，但是這個(gè)被稱之為“近二十年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法”似乎已經(jīng)被利用殆盡。生成對(duì)抗網(wǎng)絡(luò)（GAN，Generative Adversarial Networks）能夠模擬任何數(shù)據(jù)分布，從而創(chuàng)造出令人印象深刻的全新人工圖像，但是GAN的火熱程度在下降。盡管最近由于deepfake等事件使得GAN一度在媒體報(bào)道中十分流行，但是從數(shù)據(jù)看它確實(shí)不如當(dāng)年了。

讓機(jī)器來設(shè)計(jì)你的機(jī)器學(xué)習(xí)？

為你的神經(jīng)網(wǎng)絡(luò)找到一個(gè)合適的架構(gòu)實(shí)在是一件令人頭禿的事。但是，不要害怕：神經(jīng)體系結(jié)構(gòu)搜索（NAS，Neural Architecture Search）來幫你。NAS是一個(gè)可以自動(dòng)構(gòu)建網(wǎng)絡(luò)架構(gòu)的方法。它已經(jīng)被用于一些最新的算法中用于提升圖像分類、對(duì)象識(shí)別或模型分割的效果。關(guān)于NAS的論文從2018年的僅僅5篇增長到2020年的47篇。

強(qiáng)化學(xué)習(xí)表現(xiàn)穩(wěn)定

關(guān)于強(qiáng)化學(xué)習(xí)（RL，Reinforcement Learning）的論文占比基本保持不變。人們對(duì)這個(gè)話題的討論熱度不減——今年主要探討了強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛汽車、AlphaStar在《星際爭霸》上的成功以及機(jī)器人技術(shù)的進(jìn)步上的應(yīng)用。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)穩(wěn)定分支，而且原因足夠充分：人們相信RL會(huì)在未來大有可為。

關(guān)于強(qiáng)化學(xué)習(xí)的一篇干貨指南：

https://deepsense.ai/what-is-reinforcement-learning-the-complete-guide/

下一個(gè)風(fēng)口在哪里？

以上只是機(jī)器學(xué)習(xí)發(fā)展趨勢(shì)的一個(gè)縮影。明年的風(fēng)口會(huì)在哪里呢？這恐怕即使是最深度的神經(jīng)網(wǎng)絡(luò)也難以預(yù)測(cè)。但是人們對(duì)于機(jī)器學(xué)習(xí)的熱情仍然是上漲的，這也倒逼著研究人員提出更具創(chuàng)造性的觀點(diǎn)。有鑒于此，我們認(rèn)為未來會(huì)有更多創(chuàng)造性的想法涌現(xiàn)出來，即使機(jī)器學(xué)習(xí)的趨勢(shì)發(fā)生了180度的大轉(zhuǎn)彎，也不必感到驚訝。

更完整的近三年論文研究趨勢(shì)見下圖：