來(lái)源：新智元

最近一段時(shí)間，Paper Digest 網(wǎng)站以“論文的一句話摘要”成為了計(jì)算機(jī)領(lǐng)域?qū)W術(shù)圈關(guān)注和討論的話題之一。該網(wǎng)站按照不同的研究方向?qū)τ?jì)算機(jī)領(lǐng)域的一些熱門頂會(huì)進(jìn)行了分類（如下圖），并且根據(jù)論文的引用量，在部分頂會(huì)的“最具影響力論文”板塊中對(duì)收錄的論文進(jìn)行了影響力排名。該排名實(shí)時(shí)變動(dòng)，且每一屆頂會(huì)只評(píng)選引用量靠前的10-15篇論文。

基于 Paper Digest 網(wǎng)站所梳理的“最具影響力論文”，我們?yōu)榇蠹揖x了歷年來(lái)微軟亞洲研究院的一些代表性論文。雖然由于網(wǎng)站收錄的大會(huì)有限，并不能涵蓋研究院的所有研究領(lǐng)域，論文引用量也不能完全代表其影響力，但我們希望這份清單可以讓大家更好地了解一些熱門領(lǐng)域的研究動(dòng)向，并給大家的學(xué)術(shù)研究帶來(lái)一些啟發(fā)。由于微軟亞洲研究院入選的文章較多，所以我們將分上下兩篇文章來(lái)分享這些論文。

今天的文章將介紹機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、自然語(yǔ)言處理以及信息檢索領(lǐng)域的34篇亮點(diǎn)論文。其中包括：排序算法、序列到序列模型、視覺-語(yǔ)言預(yù)訓(xùn)練模型、質(zhì)量估計(jì)、模型架構(gòu)、向量的篇章表示方法、機(jī)器翻譯、人體姿態(tài)估計(jì)、情感分析、命名實(shí)體識(shí)別、特征選擇、梯度下降、混合索引、半結(jié)構(gòu)化數(shù)據(jù)處理、性能度量……

機(jī)器學(xué)習(xí)領(lǐng)域頂會(huì)：ICML、ICLR、NeurIPS

ICML 2007：Learning To Rank: From Pairwise Approach To Listwise Approach

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr-2007-40.pdf

論文亮點(diǎn)：打破“排序是對(duì) object 兩兩比較”的傳統(tǒng)思維，微軟亞洲研究院創(chuàng)新性地提出了“排序?qū)W習(xí)在訓(xùn)練時(shí)應(yīng)該將待排序的所有 object 放在一起考量計(jì)算損失”。

ICML 2008：Listwise Approach To Learning To Rank: Theory And Algorithm

https://dl.acm.org/doi/10.1145/1390156.1390306

論文亮點(diǎn)：該論文對(duì) listwise 學(xué)習(xí)排序算法進(jìn)行了理論分析，并給出了排序一致性的充分條件。

ICML 2019：MASS: Masked Sequence To Sequence Pre-training For Language Generation

http://proceedings.mlr.press/v97/song19d/song19d.pdf

論文亮點(diǎn)：受 BERT 算法啟發(fā)，微軟亞洲研究院專門針對(duì)序列到序列的自然語(yǔ)言生成任務(wù)，提出了新的預(yù)訓(xùn)練方法 MASS：掩碼序列到序列預(yù)訓(xùn)練（MASS: Masked Sequence to Sequence Pre-training）。

ICLR 2020：VL-BERT: Pre-training Of Generic Visual-Linguistic Representations

https://openreview.net/forum?id=SygXPaEYvH

論文亮點(diǎn)：雖然簡(jiǎn)單，但很強(qiáng)大，VL-BERT 是一個(gè)通用的視覺-語(yǔ)言預(yù)訓(xùn)練模型，采用 Transformer 模型作為主干網(wǎng)絡(luò)，并將其輸入擴(kuò)展為同時(shí)包含視覺與語(yǔ)言輸入的多模態(tài)形式，適用于絕大多數(shù)視覺-語(yǔ)言下游任務(wù)。

NeurIPS 2015: Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks

https://papers.nips.cc/paper/2015/file/14bfa6bb14875e45bba028a21ed38046-Paper.pdf

論文亮點(diǎn)：論文提出了一種端到端的物體檢測(cè)器，作為一種物體檢測(cè)的基準(zhǔn)方法，直到現(xiàn)在還在被廣泛應(yīng)用。

NeurIPS 2016: R-FCN: Object Detection via Region-based Fully Convolutional Networks

https://papers.nips.cc/paper/2016/file/577ef1154f3240ad5b9b413aa7346a1e-Paper.pdf

論文亮點(diǎn)：論文提出了一種位置敏感的感興趣區(qū)域池化算子，基于這一算子進(jìn)一步提出了第一個(gè)基于全卷積網(wǎng)絡(luò)的物體檢測(cè)方法 R-FCN。

NeurIPS 2017：LightGBM: A Highly Efficient Gradient Boosting Decision Tree

https://papers.nips.cc/paper/2017/hash/6449f44a102fde848669bdd9eb6b76fa-Abstract.html

論文亮點(diǎn)：針對(duì)特征維度很高或者數(shù)據(jù)量很大時(shí)模型效率和可擴(kuò)展的問(wèn)題，微軟亞洲研究院提出了基于梯度的 one-side 采樣和互斥的特征捆綁兩種解決方法，設(shè)計(jì)了目前速度最快、效果最好的梯度提升樹算法。

NeurIPS 2019：Unified Language Model Pre-training For Natural Language Understanding And Generation

https://papers.nips.cc/paper/2019/hash/c20bb2d9a50d5ac1f713f8b34d9aac5a-Abstract.html

論文亮點(diǎn)：論文提出了一種新的統(tǒng)一預(yù)訓(xùn)練語(yǔ)言模型（UniLM）同時(shí)支持語(yǔ)言理解和語(yǔ)言生成任務(wù)，囊括了多種語(yǔ)言模型參數(shù)和結(jié)構(gòu)，參數(shù)共享使得模型學(xué)習(xí)到的文本表征更加通用。

計(jì)算機(jī)視覺領(lǐng)域頂會(huì)：CVPR、ICCV

CVPR 2013：Salient Object Detection: A Discriminative Regional Feature Integration Approach

https://openaccess.thecvf.com/content_cvpr_2013/html/Jiang_Salient_Object_Detection_2013_CVPR_paper.html

論文亮點(diǎn)：文章將顯著性物體檢測(cè)問(wèn)題視為一個(gè)回歸問(wèn)題，提出了第一個(gè)成功的有監(jiān)督特征融合的方法，啟發(fā)了有監(jiān)督的深度學(xué)習(xí)特征融合算法。

CVPR 2016：Deep Residual Learning For Image Recognition

https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html

論文亮點(diǎn)：微軟亞洲研究院提出了一個(gè)殘差學(xué)習(xí)框架，以訓(xùn)練比以前使用的網(wǎng)絡(luò)層數(shù)更深的網(wǎng)絡(luò)。

CVPR 2019：Deep High-Resolution Representation Learning For Human Pose Estimation

https://openaccess.thecvf.com/content_CVPR_2019/html/Sun_Deep_High-Resolution_Representation_Learning_for_Human_Pose_Estimation_CVPR_2019_paper.html

論文亮點(diǎn)：論文提出了高分辨率深度神經(jīng)網(wǎng)絡(luò)（HRNet），學(xué)到比以往的網(wǎng)絡(luò)更強(qiáng)的高分辨率表征，在諸多視覺問(wèn)題，如人體姿態(tài)估計(jì)、語(yǔ)義分割、目標(biāo)檢測(cè)等，取得了更好的結(jié)果。

ICCV 2015: Delving Deep Into Rectifiers: Surpassing Human-Level Performance On ImageNet Classification

https://openaccess.thecvf.com/content_iccv_2015/html/He_Delving_Deep_into_ICCV_2015_paper.html

論文亮點(diǎn)：該論文提出了一種參數(shù)化的非線性激活層 PReLU，以及一種新的參數(shù)初始化方法，第一次在 ImageNet-1K 分類數(shù)據(jù)集上取得超越人類的表現(xiàn)。

ICCV 2017：Deformable Convolutional Networks

https://openaccess.thecvf.com/content_iccv_2017/html/Dai_Deformable_Convolutional_Networks_ICCV_2017_paper.html

論文亮點(diǎn)：該論文提出了可變形卷積，可能是目前針對(duì)基本的卷積算子最有趣的改進(jìn)之一，相比卷積取得了好得多的性能。

自然語(yǔ)言處理領(lǐng)域頂會(huì)：ACL、EMNLP、NAACL

ACL 2004：Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics

https://www.aclweb.org/anthology/P04-1077/

論文亮點(diǎn)：文章描述了兩種新的機(jī)器翻譯客觀自動(dòng)評(píng)價(jià)方法。這兩種方法在充分性和流暢性方面都與人的判斷有很好的相關(guān)性。

ACL 2011：Target-dependent Twitter Sentiment Classification

https://www.aclweb.org/anthology/P11-1016/

論文亮點(diǎn)：為了解決傳統(tǒng)基于目標(biāo)的推特情感分類方法忽略上下文(即相關(guān)推文)的缺點(diǎn)，微軟亞洲研究院提出了通過(guò)加入目標(biāo)相關(guān)特征和考慮相關(guān)推文兩個(gè)方式改進(jìn)目標(biāo)相關(guān)推特情感分類的性能。

ACL 2011：Recognizing Named Entities In Tweets

https://www.aclweb.org/anthology/P11-1037/

論文亮點(diǎn)：Tweets 命名實(shí)體識(shí)別（NER）面臨的挑戰(zhàn)在于推特信息不足和沒有訓(xùn)練數(shù)據(jù)。本文提出了在半監(jiān)督學(xué)習(xí)框架下結(jié)合K-近鄰（KNN）分類器和線性條件隨機(jī)場(chǎng)（CRF）模型來(lái)應(yīng)對(duì)這些挑戰(zhàn)。

ACL 2014：Learning Sentiment-Specific Word Embedding for Twitter Sentiment Classification

https://www.aclweb.org/anthology/P14-1146/

論文亮點(diǎn)：該論文通過(guò)將情感信息引入到詞嵌入的學(xué)習(xí)過(guò)程中，得到情感傾向敏感的詞嵌入，當(dāng)應(yīng)用在情感分類任務(wù)上時(shí)，分類性能有明顯提升。

ACL 2014：Adaptive Recursive Neural Network For Target-dependent Twitter Sentiment Classification

https://www.aclweb.org/anthology/P14-2009/

論文亮點(diǎn)：本文提出的模型主要基于依存樹的遞歸神經(jīng)網(wǎng)絡(luò)，解決判斷句子針對(duì)不同目標(biāo)（target）表達(dá)的情感問(wèn)題。

ACL 2015：Question Answering Over Freebase With Multi-Column Convolutional Neural Networks

https://www.aclweb.org/anthology/P15-1026/

論文亮點(diǎn)：微軟亞洲研究院提出了 MCCNNs 模型，并嘗試讓模型從三個(gè)不同層面（答案路徑，答案類型，答案上下文）來(lái)理解問(wèn)題。

ACL 2017：Gated Self-Matching Networks For Reading Comprehension And Question Answering

https://aclweb.org/anthology/P17-1018

論文亮點(diǎn)：本文提出了用于閱讀理解式答題的門控自匹配網(wǎng)絡(luò)（gated self-matching networks），用以回答針對(duì)給定文本段落的問(wèn)題。

EMNLP 2007：Low-Quality Product Review Detection in Opinion Summarization

https://www.aclweb.org/anthology/D07-1035/

論文亮點(diǎn)：在線購(gòu)物網(wǎng)站上發(fā)布的產(chǎn)品評(píng)論質(zhì)量差異很大，因此文章提出了一種基于分類的方法來(lái)檢測(cè)低質(zhì)量的評(píng)論。

EMNLP 2015：Document Modeling With Gated Recurrent Neural Network For Sentiment Classification

https://www.aclweb.org/anthology/D15-1167/

論文亮點(diǎn)：文章引入了從下向上的、基于向量的篇章表示方法，其思路是首先用 CNN/LSTM 實(shí)現(xiàn)單句表示，再用 gated RNN 編碼句子間的內(nèi)在關(guān)系和語(yǔ)義聯(lián)系。

EMNLP 2016：Aspect Level Sentiment Classification With Deep Memory Network

https://aclweb.org/anthology/D16-1021

論文亮點(diǎn)：文章介紹的是使用 Deep Memory Network，在方面級(jí)分類任務(wù)（aspect level）上做情感分類。

EMNLP 2020：CodeBERT: A Pre-Trained Model For Programming And Natural Languages

https://www.aclweb.org/anthology/2020.findings-emnlp.139/

論文亮點(diǎn)：微軟亞洲研究院提出了一個(gè)可處理雙模態(tài)數(shù)據(jù)的新預(yù)訓(xùn)練模型? CodeBERT，除了自然語(yǔ)言（NL），編程語(yǔ)言（PL）如今也可以進(jìn)行預(yù)訓(xùn)練了。

EMNLP 2020：ProphetNet: Predicting Future N-gram For Sequence-to-Sequence Pre-training

https://www.aclweb.org/anthology/2020.findings-emnlp.217

論文亮點(diǎn)：論文提出了一個(gè)新的 seq2seq 預(yù)訓(xùn)練模型：ProphetNet（先知網(wǎng)絡(luò)）。該模型帶有一個(gè)新穎的自監(jiān)督學(xué)習(xí)目標(biāo)函數(shù)即預(yù)測(cè)未來(lái)的 N 元組（Predicting Future N-gram），以及提出的 n-stream 自注意力機(jī)制。

NAACL 2003：Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics

https://www.aclweb.org/anthology/N03-1020/

論文亮點(diǎn)：機(jī)器翻譯界常常采用 BLEU/NIST 作為指標(biāo)評(píng)分，這篇論文對(duì)類似的文本摘要評(píng)估思想進(jìn)行了深入研究。

信息檢索領(lǐng)域頂會(huì)：SIGIR、CIKM

SIGIR 2006：Adapting Ranking SVM To Document Retrieval

https://dl.acm.org/doi/10.1145/1148170.1148205

論文亮點(diǎn)：論文講 Ranking SVM 引入到文檔檢索中，并針對(duì)文檔檢索創(chuàng)新改進(jìn)了 Ranking SVM 的損失函數(shù)。

SIGIR 2007：Feature Selection For Ranking

https://dl.acm.org/doi/10.1145/1277741.1277811

論文亮點(diǎn)：文章針對(duì)排序?qū)W習(xí)提出了一種新的特征選擇方法，在考量單維特征的有效性的同時(shí)避免了強(qiáng)相關(guān)的特征。

SIGIR 2010：Learning To Rank For Information Retrieval

https://dl.acm.org/doi/abs/10.1145/1835449.1835676

論文亮點(diǎn)：該教程對(duì)信息檢索中的排序?qū)W習(xí)做了一個(gè)全面而系統(tǒng)的介紹：（1）首先介紹了三類主要方法（基于單文檔、文檔對(duì)、文檔 list），分析了這些方法中使用的損失函數(shù)與廣泛使用的 IR 評(píng)價(jià)指標(biāo)之間的關(guān)系，在標(biāo)準(zhǔn)測(cè)試集 LETOR 上測(cè)試對(duì)比了各算法的性能；（2）然后綜述了排序?qū)W習(xí)的一些深入課題如關(guān)系排序、多元化排序、半監(jiān)督及遷移排序、數(shù)據(jù)預(yù)處理等等；（3）最后介紹了排序問(wèn)題中的統(tǒng)計(jì)學(xué)習(xí)理論，解釋了不同算法的泛化能力和統(tǒng)計(jì)一致性。

SIGIR 2017：Word-Entity Duet Representations For Document Ranking

https://dl.acm.org/doi/10.1145/3077136.3080768

論文亮點(diǎn)：文章提出了基于 word 和 entity 來(lái)對(duì) query 和 doc 進(jìn)行表達(dá)的方法。給半結(jié)構(gòu)化數(shù)據(jù)對(duì)排序特征進(jìn)行優(yōu)化和擴(kuò)充提供了思路。

SIGIR 2017：Leveraging Contextual Sentence Relations For Extractive Summarization Using A Neural Attention Model

https://dl.acm.org/doi/10.1145/3077136.3080792

論文亮點(diǎn)：論文提出使用 Hierarchical Attention Model 完成文章的摘要提取。

CIKM 2005: Hybrid Index Structures For Location-based Web Search

https://dl.acm.org/doi/abs/10.1145/1099554.1099584

論文亮點(diǎn)：本文提出了一種結(jié)合倒排文件和 R* 樹的混合索引結(jié)構(gòu)來(lái)同時(shí)處理文本查詢和位置感知查詢（location aware queries）。

CIKM 2011: Topic Sentiment Analysis In Twitter: A Graph-based Hashtag Sentiment Classification Approach

https://dl.acm.org/doi/abs/10.1145/2063576.2063726

論文亮點(diǎn)：文章重點(diǎn)研究了 hashtag 級(jí)別的情感分類問(wèn)題。

CIKM 2018: RippleNet: Propagating User Preferences On The Knowledge Graph For Recommender Systems

https://dl.acm.org/doi/10.1145/3269206.3271739

論文亮點(diǎn)：為了解決基于路徑的方法的限制，微軟亞洲研究院提出了 RippleNet，可以利用用戶曾經(jīng)的點(diǎn)擊記錄，不斷外擴(kuò)發(fā)掘用戶可能的興趣點(diǎn)。

由于篇幅有限，更多精彩內(nèi)容，請(qǐng)期待《微軟亞洲研究院高被引論文不完全清單（下篇）》。

在《下篇》我們將會(huì)介紹，微軟亞洲研究院在人工智能頂會(huì) IJCAI、AAAI；數(shù)據(jù)挖掘頂會(huì) KDD；網(wǎng)絡(luò)頂會(huì) SIGCOMM、WWW、MOBICOM 等等中的一些代表性論文。

（聲明：本文僅代表作者觀點(diǎn)，不代表新浪網(wǎng)立場(chǎng)。）