NeurIPS2018開幕，上海交通大學(xué)Acemap團(tuán)隊(duì)分析了NeurIPS2018的所有論文

NeurIPS2018今天開幕，上海交通大學(xué)Acemap團(tuán)隊(duì)分析了NeurIPS2018的所有論文，發(fā)現(xiàn)前十名的幾乎全是美國(guó)機(jī)構(gòu)，清華、中科院、北大是發(fā)表NeurIPS論文最多的中國(guó)機(jī)構(gòu)，邢波、張潼、周明遠(yuǎn)等排名前十。

NeurIPS2018來(lái)了！

神經(jīng)信息處理系統(tǒng)大會(huì)（原名 Neural Information Processing Systems，NeurIPS）是人工智能和機(jī)器學(xué)習(xí)領(lǐng)域最重要的盛會(huì)，自 1987 年誕生起，這一學(xué)術(shù)會(huì)議已經(jīng)走過(guò)了30余年的歷史。

在中國(guó)計(jì)算機(jī)學(xué)會(huì)的國(guó)際學(xué)術(shù)會(huì)議排名中，NeurIPS為人工智能領(lǐng)域的A類會(huì)議。今年的大會(huì)在加拿大城市蒙特利爾舉行，12月3日開幕。

上海交通大學(xué)Acemap團(tuán)隊(duì)分析了NeurIPS2018的所有論文1010篇，對(duì)2018年、近三年、近五年學(xué)者、機(jī)構(gòu)和國(guó)家分別以第一作者身份以及合作者身份在該會(huì)議中發(fā)表論文情況進(jìn)行了統(tǒng)計(jì)，有一些比較重要的發(fā)現(xiàn)：

今年會(huì)議發(fā)表論文的前10名中幾乎都是美國(guó)機(jī)構(gòu)，可見美國(guó)在該領(lǐng)域的絕對(duì)領(lǐng)先地位；

NeurIPS十年話題演變反映業(yè)界趨勢(shì)；

Eric Xing（邢波）在NeurIPS2018會(huì)議中發(fā)表論文數(shù)量排名第二；

清華、中科院、北大是發(fā)表NeurIPS論文最多的中國(guó)機(jī)構(gòu)。

機(jī)構(gòu)統(tǒng)計(jì)：谷歌、MIT、斯坦福連續(xù)領(lǐng)跑前三強(qiáng)

NIPS2018 Affiliation Statistics統(tǒng)計(jì)了2018年、近三年、近五年各機(jī)構(gòu)在NeurIPS會(huì)議中發(fā)表論文數(shù)量排名，下圖展示了2018年排名前十的機(jī)構(gòu)及論文發(fā)表數(shù)量（包含第一作者和非第一作者）：

統(tǒng)計(jì)顯示，前10名中有Google、Microsoft和Facebook三所來(lái)自工業(yè)界的機(jī)構(gòu)，尤其是第一名Google發(fā)表了136篇論文之多。而且，微軟作為第一作者發(fā)表的論文數(shù)量也有57篇之多（見Acemap官網(wǎng)）。可見Google在機(jī)器學(xué)習(xí)領(lǐng)域具有巨大的影響力。

同時(shí)，我們也看到前10名中幾乎都是美國(guó)機(jī)構(gòu)，可見美國(guó)在該領(lǐng)域的絕對(duì)領(lǐng)先地位。

時(shí)間線拉長(zhǎng)到三年，前三名依舊是谷歌、MIT和斯坦福：

近五年內(nèi)的前三名仍舊是這三位玩家，在此就不截圖了，欲了解2018年、近三年、近五年僅包含第一作者/所有作者包含在內(nèi)的機(jī)構(gòu)統(tǒng)計(jì)，請(qǐng)至Acemap官網(wǎng)：

https://acemap.info/ConferenceStatistics/AuthorAffiliationRank?conf_name=NIPS&conf_year=2018&type_of_ranking=Affiliation

對(duì)于谷歌，Acemap團(tuán)隊(duì)也統(tǒng)計(jì)了該機(jī)構(gòu)歷年在NeurIPS論文發(fā)表情況，如下圖所示：

其中，縱軸代表年份，橫軸代表該機(jī)構(gòu)發(fā)表的論文數(shù)。紅色為第一作者身份發(fā)表的論文數(shù)。黑色位非第一作者身份發(fā)表的論文數(shù)。

同時(shí)，還統(tǒng)計(jì)了該機(jī)構(gòu)內(nèi)以第一作者身份/非第一作者身份發(fā)表的論文數(shù)最多的作者。

上圖可以看到，谷歌公司以第一作者身份發(fā)表論文數(shù)最多的幾個(gè)作者是：

Corinna Cortes

Jeffrey Pennington

Samy Bengio

Oriol Vinyals

作者統(tǒng)計(jì)：邢波、張潼、周明遠(yuǎn)等進(jìn)入前十

NeurIPS2018 Author Statistics統(tǒng)計(jì)了2018年、近三年、近五年各作者在NeurIPS會(huì)議中發(fā)表論文數(shù)量排名（包含所有作者/僅包含第一作者），下圖展示了2018年排名前十的作者及論文發(fā)表數(shù)量（包含所有作者）：

從上圖可以看到，前三名分別是Josh Tenenbaum、Eric Xing（邢波）、Michael Jordan。

前十名中，華人學(xué)者有Eric Xing（邢波）、Tong Zhang（張潼）、Honglak Lee、Mingyuan Zhou（周明遠(yuǎn)）。

以上僅展示2018年排名前十的作者（包含所有作者），2018年、近三年、近五年詳細(xì)排名（包含所有作者/僅包含第一作者）請(qǐng)瀏覽網(wǎng)址：

https://acemap.info/ConferenceStatistics/AuthorAffiliationRank?conf_name=NIPS&conf_year=2018&type_of_ranking=Author

另外，NeurIPS十年的接受率、投稿量、中稿量也進(jìn)行了統(tǒng)計(jì)，如下圖所示：

其中，綠色為投稿量，紫色為中稿量，曲線代表接受率。我們可以看到，2018年投稿量為4856，遠(yuǎn)大于2017年的3240和2016年的2403。

詳細(xì)請(qǐng)查看：

https://acemap.info/ConferenceStatistics/acceptance_rate?conf_name=NIPS&conf_year=2018

我們提取了NeurIPS 2009-2018十年的摘要信息，利用word embedding算法將關(guān)鍵詞映射到向量空間，然后進(jìn)行聚類。對(duì)每一個(gè)聚類賦予相應(yīng)的話題，總體上分為圖中六大類。圖中橫軸代表年份，縱軸代表話題所占比例，從圖中可以看到六大話題十年間的演變趨勢(shì)。

我們從五個(gè)維度對(duì)每篇論文進(jìn)行了相似論文推薦，形成論文推薦矩陣。這些維度包括最新、同會(huì)議、最相關(guān)、被引用數(shù)最多和導(dǎo)讀類論文，這種多維度推薦能夠滿足不同用戶的不同需求。AceMap針對(duì)NeurIPS 2018各篇論文的相似論文推薦頁(yè)面如下如所示：

詳細(xì)頁(yè)面可通過(guò)點(diǎn)擊閱讀原文訪問(wèn)官方主頁(yè)，并點(diǎn)擊論文標(biāo)題訪問(wèn)。

國(guó)家分布統(tǒng)計(jì)：中國(guó)第二；清華、中科院、北大排前三

NeurIPS 2018 Affiliation Distribution統(tǒng)計(jì)了2018年發(fā)表NeurIPS論文的機(jī)構(gòu)所在國(guó)家的分布情況，目前只統(tǒng)計(jì)了發(fā)表論文數(shù)量前十位的國(guó)家，以及每個(gè)國(guó)家所發(fā)表論文的數(shù)量和比例分布情況。

前十名的國(guó)家：美國(guó)、中國(guó)、法國(guó)、英國(guó)、加拿大、瑞士、德國(guó)、韓國(guó)、澳大利亞、日本。

中國(guó)出現(xiàn)的機(jī)構(gòu)排名：

清華、中科院、北大、南京大學(xué)、華為、北京郵電大學(xué)、天津大學(xué)、西安電子科技大學(xué)、浙江大學(xué)。

作者關(guān)系圖

Acemap團(tuán)隊(duì)分別對(duì)2018年在NeurIPS發(fā)過(guò)論文的作者、以及所有在NeurIPS發(fā)過(guò)論文的作者畫了關(guān)系圖。2018年在NeurIPS發(fā)過(guò)論文的作者如下所示（截圖部分）。其中，點(diǎn)的大小代表2018年在NeurIPS發(fā)的論文數(shù)多少。點(diǎn)之間的連線代表coauthor關(guān)系。

把圖片放大了，可以看到Josh Tenenbaum的關(guān)系圖：

此外，對(duì)NeurIPS 2018的每篇論文，Acemap團(tuán)隊(duì)都提供簡(jiǎn)短的內(nèi)容解讀。解讀的方式是用機(jī)器閱讀理解的方法自動(dòng)提取出關(guān)鍵信息，包括提出什么方法解決了什么問(wèn)題等，相比于一長(zhǎng)段論文，這種導(dǎo)讀能幫助讀者在短時(shí)間內(nèi)獲取論文最關(guān)鍵的信息。

以下為解讀示例：

Acemap團(tuán)隊(duì)對(duì)1010篇論文都做了解讀。詳細(xì)解讀請(qǐng)瀏覽網(wǎng)址：

https://acemap.info/ConferenceStatistics/MainPage?conf_name=NIPS&conf_year=2018#authorstatistics

最后，Acemap對(duì)NeuIPS近年H-Index、Top30論文的平均引用量、所有論文的平均引用量進(jìn)行了統(tǒng)計(jì)。會(huì)議H-index變化如下：

會(huì)議所有論文和Top30論文的citation變化如下：

一些大廠的NeurIPS 2018論文

前文提到2018年排名前十的機(jī)構(gòu)及論文發(fā)表數(shù)量，目前，已經(jīng)有一些大廠放出了NeuraIPS上的論文，新智元做了簡(jiǎn)單統(tǒng)計(jì)：

谷歌共計(jì)錄取文章136篇。

其中第一作者來(lái)自谷歌的文章，共計(jì)57篇；谷歌參與，但并非第一作者的文章數(shù)量共計(jì)79篇。

Efficient Gradient Computation For Structured Output Learning With Rational And Tropical Losses

具有Rational、Tropical損失的結(jié)構(gòu)化輸出學(xué)習(xí)的有效梯度計(jì)算

Corinna Cortes，Vitaly Kuznetsov，Mehryar Mohri，Dmitry Storcheus，Scott Yang

The Spectrum Of The Fisher Information Matrix Of A Single-Hidden-Layer Neural Network

單隱層神經(jīng)網(wǎng)絡(luò)Fisher信息矩陣的譜

Jeffrey Pennington，Pratik Worah

Tangent: Automatic Differentiation Using Source-code Transformation For Dynamically Typed Array Programming

Tangent：使用源代碼轉(zhuǎn)換進(jìn)行動(dòng)態(tài)類型數(shù)組編程的自動(dòng)微分

Bart van Merri?nboer，Dan Moldovan，Alexander B Wiltschko

To Trust Or Not To Trust A Classifier

是否該信任一個(gè)分類器

Heinrich Jiang，Been Kim，Melody Y. Guan，Maya Gupta

Relational Recurrent Neural Networks

關(guān)系遞歸神經(jīng)網(wǎng)絡(luò)

Adam Santoro，Ryan Faulkner，David Raposo，Jack Rae，Mike Chrzanowski，Théophane Weber，Daan Wierstra，Oriol Vinyals，Razvan Pascanu，Timothy Lillicrap

Adversarial Examples That Fool Both Computer Vision And Time-Limited Humans

愚弄計(jì)算機(jī)視覺(jué)以及人類的對(duì)抗性的例子

Gamaleldin F. Elsayed，Shreya Shankar，Brian Cheung，Nicolas Papernot，Alex Kurakin，Ian Goodfellow，Jascha Sohl-Dickstein

Large Margin Deep Networks For Classification

用于分類的Large Margin深度網(wǎng)絡(luò)

Gamaleldin F. Elsayed，Dilip Krishnan，Hossein Mobahi，Kevin Regan，Samy Bengio

Data-Efficient Hierarchical Reinforcement Learning

數(shù)據(jù)高效的分層強(qiáng)化學(xué)習(xí)

Ofir Nachum，Shixiang Gu，Honglak Lee，Sergey Levine

TopRank: A Practical Algorithm For Online Stochastic Ranking

TopRank：在線隨機(jī)排名的實(shí)用算法

Tor Lattimore，Branislav Kveton，Shuai Li，Csaba Szepesvari

Meta-Gradient Reinforcement Learning

元梯度強(qiáng)化學(xué)習(xí)

Zhongwen Xu,Hado van Hasselt,David Silver

Trading Robust Representations For Sample Complexity Through Self-supervised Visual Experience

通過(guò)自我監(jiān)督的視覺(jué)體驗(yàn)，用魯棒的表現(xiàn)形式換取樣本的復(fù)雜性

Andrea Tacchetti

Re-evaluating Evaluation

Re-evaluating評(píng)估

David Balduzzi，Karl Tuyls，Julien Perolat，Thore Graepel

A Lyapunov-based Approach To Safe Reinforcement Learning

基于Lyapunov的安全強(qiáng)化學(xué)習(xí)方法

Yinlam Chow,Ofir Nachum,Edgar Duenez-Guzman,Mohammad Ghavamzadeh

Assessing The Scalability Of Biologically-Motivated Deep Learning Algorithms And Architectures

評(píng)估生物激勵(lì)的深度學(xué)習(xí)算法和體系結(jié)構(gòu)的可擴(kuò)展性

Sergey Bartunov,Adam Santoro,Blake A. Richards,Luke Marris,Geoffrey E. Hinton,Timothy Lillicrap

Provable Variational Inference For Constrained Log-Submodular Models

約束Log-Submodular模型的可證變分推理

Josip Djolonga，Stefanie Jegelka，Andreas Krause

Playing Hard Exploration Games By Watching YouTube

通過(guò)觀看YouTube玩硬探索游戲

Yusuf Aytar,Tobias Pfaff,David Budden,Tom Le Paine,Ziyu Wang,Nando de Freitas

Transfer Learning From Speaker Verification To Multispeaker Text-To-Speech Synthesis

從說(shuō)話人驗(yàn)證遷移學(xué)習(xí)到多語(yǔ)言文本、語(yǔ)音合成

Ye Jia,Yu Zhang,Ron J. Weiss,Quan Wang,Jonathan Shen,Fei Ren,Zhifeng Chen,Patrick Nguyen,Ruoming Pang,Ignacio Lopez Moreno,Yonghui Wu

更多與谷歌相關(guān)錄取文章可點(diǎn)擊下方鏈接查看：

https://acemap.info/ConferenceStatistics/affiliationpage?affID=4CF99586&conf_name=NIPS&conf_year=2018

Facebook(未包含workshop)：

A^2-Nets: Double Attention Networks

A^2-Nets: 雙重注意網(wǎng)絡(luò)

Yunpeng Chen,Yannis Kalantidis, Jianshu Li, Shuicheng Yan and Jiashi Feng

學(xué)習(xí)捕捉長(zhǎng)期關(guān)系是圖像/視頻識(shí)別的基礎(chǔ)?，F(xiàn)有的CNN模型一般依賴于增加深度來(lái)模擬這種關(guān)系，效率非常低。在這項(xiàng)工作中，我們提出“double attention block”，這是一個(gè)新的構(gòu)建塊，能夠匯集并傳播來(lái)自輸入圖像/視頻的整個(gè)時(shí)空空間的全局信息特征，使后續(xù)的卷積層能夠有效地訪問(wèn)來(lái)自整個(gè)空間的特征。

A Block Coordinate Ascent Algorithm for Mean-Variance Optimization

均值 - 方差優(yōu)化的塊坐標(biāo)上升算法

Tengyang Xie,Bo Liu, Yangyang Xu,Mohammad Ghavamzadeh, Yinlam Chow, Daoming Lyu and Daesub Yoon

均值-方差函數(shù)是風(fēng)險(xiǎn)管理中應(yīng)用最廣泛的目標(biāo)函數(shù)之一，具有簡(jiǎn)單易行、易于解釋等優(yōu)點(diǎn)。現(xiàn)有的均值-方差優(yōu)化算法是基于多時(shí)間尺度隨機(jī)逼近的，其學(xué)習(xí)速率表往往難以優(yōu)化，且只有漸近收斂證明。在這篇論文中，我們提出一種無(wú)模型均值方差優(yōu)化策略搜索框架，基于有限樣本誤差約束分析。我們?cè)趲讉€(gè)基準(zhǔn)域上證明了它們的適用性。

A Lyapunov-based Approach to Safe Reinforcement Learning基于Lyapunov的安全強(qiáng)化學(xué)習(xí)方法

Yinlam Chow, Ofir Nachum, Edgar Duenez-Guzman andMohammad Ghavamzadeh

在許多現(xiàn)實(shí)世界的強(qiáng)化學(xué)習(xí)(RL)問(wèn)題中，除了優(yōu)化主要目標(biāo)函數(shù)外，智能體還必須同時(shí)避免違反各種約束。特別是，除了優(yōu)化性能外，在訓(xùn)練和部署過(guò)程中，保證agent的“安全性”也是至關(guān)重要的。為了將安全性納入RL，我們?cè)诩s束馬爾可夫決策過(guò)程(CMDPs)的框架下推導(dǎo)算法。結(jié)果表明，該方法在平衡約束滿意度和性能方面明顯優(yōu)于現(xiàn)有基線。

The Description Length of Deep Learning Models深度學(xué)習(xí)模型的描述長(zhǎng)度

Léonard Blier andYann Ollivier

Solomonoff的一般推理理論和最小描述長(zhǎng)度原則是奧卡姆剃刀形式化的結(jié)果，并認(rèn)為良好的數(shù)據(jù)模型必須是擅長(zhǎng)無(wú)損壓縮數(shù)據(jù)的模型?？紤]到要編碼的大量參數(shù)，深度神經(jīng)網(wǎng)絡(luò)似乎違背了這一原則。我們通過(guò)實(shí)驗(yàn)證明了深度神經(jīng)網(wǎng)絡(luò)即使在考慮參數(shù)編碼時(shí)也能夠壓縮訓(xùn)練數(shù)據(jù)。

Fast Approximate Natural Gradient Descent in a Kronecker Factored Eigenbasis

Kronecker Factored Eigenbasis的快速近似自然梯度下降

Thomas George, César Laurent, Xavier Bouthillier,Nicolas BallasandPascal Vincent

Fighting Boredom in Recommender Systems with Linear Reinforcement Learning在線性強(qiáng)化學(xué)習(xí)的推薦系統(tǒng)中對(duì)抗無(wú)聊

Romain Warlop,Alessandro Lazaricand Jérémie Mary

Forward Modeling for Partial Observation Strategy Games – A StarCraft Defogger部分觀察戰(zhàn)略游戲的正向建模 - 星際爭(zhēng)霸Defogger

Gabriel Synnaeve,Zeming Lin,Jonas Gehring, Dan Gant,Vegard Mella,Vasil Khalidov,Nicolas CarionandNicolas Usunier

GLoMo: Unsupervisedly Learned Relational tGraphs as Transferable RepresentationsGLoMo：非監(jiān)督學(xué)習(xí)關(guān)系tGraphs作為可轉(zhuǎn)移的表示

Zhilin Yang,Jake Zhao, Bhuwan Dhingra,Kaiming He, William Cohen, Ruslan Salakhutdinov andYann LeCun

Near Optimal Exploration-Exploitation in Non-Communicating Markov Decision Processes非傳播馬爾可夫決策過(guò)程的近似最優(yōu)探索-開發(fā)

Ronan Fruit,Matteo PirottaandAlessandro Lazaric

Non-Adversarial Mapping with VAEs使用VAE進(jìn)行非對(duì)抗性映射

Yedid Hoshen

One-Shot Unsupervised Cross Domain TranslationOne-Shot無(wú)監(jiān)督跨域翻譯

Sagie Benaim andLior Wolf

SING: Symbol-to-Instrument Neural GeneratorSING：從音符到樂(lè)器的神經(jīng)生成器

Alexandre Defossez,Neil Zeghidour,Nicolas Usunier,Leon Bottouand Francis Bach

Temporal Regularization for Markov Decision Process

馬爾可夫決策過(guò)程的時(shí)間正則化

Pierre Thodoroff, Audrey Durand, Joelle Pineau and Doina Precup

一波三折的NeurIPS 2018

NeurIPS只是最近才被官方用到的名稱，通常被稱為NIPS，但就是這個(gè)四字縮寫讓今年的會(huì)議一波三折。

“NIPS”因?yàn)閹в行园凳荆呀?jīng)在今年引起了許多爭(zhēng)議，幾次公眾呼吁改名之后，NIPS 組委會(huì)在今年 4 月份宣布，他們正在考慮改名，并很快就此事向社區(qū)征詢意見。

不過(guò)大家的回應(yīng)好壞參半。有人支持，有人反對(duì)，谷歌大腦研究員 David Ha（Twitter@hardmaru）個(gè)人統(tǒng)計(jì)結(jié)果，結(jié)果 50% 投票者認(rèn)為保留原來(lái)的名字更好。

后來(lái)，NIPS官網(wǎng)默默地開始使用 NeurIPS 作為會(huì)議的縮寫，也增加了新的網(wǎng)址neurips.cc.，這才讓改名風(fēng)波告一段落。

但是，改名事情剛消停，又被曝出有十幾名研究人員簽證被拒的情況。像NeurIPS這樣的頂級(jí)會(huì)議往往在歐美國(guó)家召開，但其實(shí)這對(duì)其他非發(fā)達(dá)國(guó)家的研究人員是不公平的，一旦出現(xiàn)外部因素影響（例如簽證），就會(huì)給這些非發(fā)達(dá)國(guó)家的研究人員帶來(lái)極大不便。

現(xiàn)在，已經(jīng)有學(xué)者呼吁頂會(huì)要照顧非發(fā)達(dá)國(guó)家，Yoshua Bengio在最近的一次采訪時(shí)表示，另一個(gè)機(jī)器學(xué)習(xí)頂會(huì)ICLR，將在2020年移師非洲，做出了表率。

最后，對(duì)AI從業(yè)者來(lái)說(shuō)，最重要是能參會(huì)。但是NeurIPS2018的門票比霉霉的演唱會(huì)門票還難搶，主辦方于 9 月 4 日 8 點(diǎn)開放注冊(cè)，但僅用了11分鐘38秒主會(huì)議門票就售罄，半小時(shí)后，tutorial和workshop的票也全部顯示Sold Out。

今年的NeurIPS2018，你是選擇看直播還是親臨現(xiàn)場(chǎng)？