2013年才舉辦第一屆的ICLR(The International Conference on Learning Representations)發(fā)展迅猛,如今已成為是最重要的國際機(jī)器學(xué)習(xí)會(huì)議之一,甚至可以和ICML,NeurIPS和CVPR這些老牌著名會(huì)議相提并論。
2020年會(huì)議定于明年4月26日舉行,但是論文提交截止日期已經(jīng)過去了。這次會(huì)議共提交了2585份論文,比2019年多了約1000份論文。
今年提交論文:
https://openreview.net/group?id=ICLR.cc/2020/Conference
按照這個(gè)速度估計(jì),24年后,論文提交數(shù)量將達(dá)到10萬份。
我們分析了過去三年里ICLR所有提交的論文的摘要和關(guān)鍵詞,來看看哪些是新的風(fēng)口,而哪些議題正在消逝。今年,28%的論文使用或聲稱使用了最新的算法,所以準(zhǔn)備接受大量的機(jī)器學(xué)習(xí)知識(shí)撲面而來吧!
“深度學(xué)習(xí)”成為正常操作
在計(jì)算機(jī)視覺或自然語言處理中使用深度學(xué)習(xí),如今就好像魚在水中生活一樣必要而且自然。深度學(xué)習(xí)徹底改變了機(jī)器學(xué)習(xí),它現(xiàn)在幾乎存在于機(jī)器學(xué)習(xí)的所有領(lǐng)域,甚至那些不太起眼的地方,比如在時(shí)間序列分析或需求預(yù)測(cè)也可以看到它的身影。
可以說深度學(xué)習(xí)已經(jīng)不再是一個(gè)前沿話題,而成了機(jī)器學(xué)習(xí)的正常操作。這也解釋了為什么在關(guān)鍵詞中提及深度學(xué)習(xí)的數(shù)量有所減少——從2018年的19%下降到了2020年的11%。
網(wǎng)絡(luò)架構(gòu)的革命?
圖神經(jīng)網(wǎng)絡(luò)(GNN,Graph Neural Networks)是這一年最熱門的話題之一。GNN是用于圖結(jié)構(gòu)數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)。在醫(yī)學(xué)、社交網(wǎng)絡(luò)分類和動(dòng)態(tài)交互對(duì)象行為建模等應(yīng)用中,GNN展示了其巨大優(yōu)勢(shì)。關(guān)于GNN的論文數(shù)量的空前增長,從2018年的12篇發(fā)展到了2020年的111篇!
寂靜的GAN
GAN是近些年最流行的話題,但是這個(gè)被稱之為“近二十年來機(jī)器學(xué)習(xí)領(lǐng)域最酷的想法”似乎已經(jīng)被利用殆盡。生成對(duì)抗網(wǎng)絡(luò)(GAN,Generative Adversarial Networks)能夠模擬任何數(shù)據(jù)分布,從而創(chuàng)造出令人印象深刻的全新人工圖像,但是GAN的火熱程度在下降。盡管最近由于deepfake等事件使得GAN一度在媒體報(bào)道中十分流行,但是從數(shù)據(jù)看它確實(shí)不如當(dāng)年了。
讓機(jī)器來設(shè)計(jì)你的機(jī)器學(xué)習(xí)?
為你的神經(jīng)網(wǎng)絡(luò)找到一個(gè)合適的架構(gòu)實(shí)在是一件令人頭禿的事。但是,不要害怕:神經(jīng)體系結(jié)構(gòu)搜索(NAS,Neural Architecture Search)來幫你。NAS是一個(gè)可以自動(dòng)構(gòu)建網(wǎng)絡(luò)架構(gòu)的方法。它已經(jīng)被用于一些最新的算法中用于提升圖像分類、對(duì)象識(shí)別或模型分割的效果。關(guān)于NAS的論文從2018年的僅僅5篇增長到2020年的47篇。
強(qiáng)化學(xué)習(xí)表現(xiàn)穩(wěn)定
關(guān)于強(qiáng)化學(xué)習(xí)(RL,Reinforcement Learning)的論文占比基本保持不變。人們對(duì)這個(gè)話題的討論熱度不減——今年主要探討了強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛汽車、AlphaStar在《星際爭霸》上的成功以及機(jī)器人技術(shù)的進(jìn)步上的應(yīng)用。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)穩(wěn)定分支,而且原因足夠充分:人們相信RL會(huì)在未來大有可為。
關(guān)于強(qiáng)化學(xué)習(xí)的一篇干貨指南:
https://deepsense.ai/what-is-reinforcement-learning-the-complete-guide/
下一個(gè)風(fēng)口在哪里?
以上只是機(jī)器學(xué)習(xí)發(fā)展趨勢(shì)的一個(gè)縮影。明年的風(fēng)口會(huì)在哪里呢?這恐怕即使是最深度的神經(jīng)網(wǎng)絡(luò)也難以預(yù)測(cè)。但是人們對(duì)于機(jī)器學(xué)習(xí)的熱情仍然是上漲的,這也倒逼著研究人員提出更具創(chuàng)造性的觀點(diǎn)。有鑒于此,我們認(rèn)為未來會(huì)有更多創(chuàng)造性的想法涌現(xiàn)出來,即使機(jī)器學(xué)習(xí)的趨勢(shì)發(fā)生了180度的大轉(zhuǎn)彎,也不必感到驚訝。
更完整的近三年論文研究趨勢(shì)見下圖:
-
計(jì)算機(jī)視覺
+關(guān)注
關(guān)注
8文章
1690瀏覽量
45876 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8325瀏覽量
132216
原文標(biāo)題:從ICLR提交論文看機(jī)器學(xué)習(xí)的趨勢(shì)和風(fēng)口
文章出處:【微信號(hào):AItists,微信公眾號(hào):人工智能學(xué)家】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論