本周值得读的15篇AI论文,还有源码搭配服用
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
這是 PaperDaily 的第 131?篇文章@jingyihiter 推薦
#Neural Sequence Generation
本文是自動化所張家俊老師發表于 TACL 2019 的工作,論文研究的問題是在序列生成任務的解碼過程中如何進行雙向解碼。文章提出一種新的 beam search 算法用于雙向解碼,提出了改進 transformer 進行雙向解碼的 BIFT model,在機器翻譯和文本摘要任務上都取得明顯的提升。文中分別給出了詳細的實驗,并附有開源實現代碼。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2867
源碼鏈接
https://github.com/ZNLP/sb-nmt
@paperweekly 推薦
#Abstractive Summarization
本文來自 NAACL-HLT 2019,論文提出了一個名為多級存儲網絡(MMN)的生成式摘要模型,直接用多級卷積存儲器代替基于 RNN 的編碼器。該模型利用卷積來控制多級句子,段落和整個文本中的表示程度。
此外,本文還貢獻了一個大型抽象摘要數據集—Reddit TIFU,包含來自 Reddit 的 120K 個帖子。基于 AMT 的定量評估和用戶研究,本文模型在 Reddit TIFU 和新聞類生成式摘要數據集上均優于當前最先進的抽象概括方法。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2901
源碼鏈接
https://github.com/ctr4si/MMN
@stevewyl 推薦
#Natural Language Understanding
本文來自微軟,論文提出將多任務學習(MTL)和語言模型進行結合,提升了 NLU 領域的 GLUE 榜單 1.8%。本文是基于多任務學習框架和特征共享層硬連接的方式實現的,將原有 MT-DNN 模型中的特征表示層,替換為目前大熱的 BERT。與 BERT 不同的是,微調是在多個任務上同時進行的。
本文是在 BERT 的基礎上比較成功的一次探索,后續可以考慮任務之間的相關性。BERT 和 MTL 的結合可能是接下來的一個研究熱點。 不足之處是沒有重大創新,MTL 的使用比較簡單,有提升空間。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2809
源碼鏈接
https://github.com/namisan/mt-dnn
@Hutommy 推薦
#Dialogue Systems
本文是波恩大學和波鴻魯爾大學發表于 CoNLL 2018 的工作,論文基本說明了對話系統的類別,而且介紹了 RNN,BiRNN 以及 GRU 的思想。此外,本文結合了外部知識增加了一種機制,提高處理較低頻的字詞的能力。同時結合了領域關鍵字描述編碼,在多回合對話中有所幫助。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2838
源碼鏈接
https://github.com/SmartDataAnalytics/AK-DE-biGRU
@chunhualiu?推薦
#Story Ending Generation
本文是清華大學黃民烈老師組發表于 AAAI 2019 的工作,論文提供了一種如何利用常識知識做故事結尾生成的新思路。作者提出利用增量編碼的方式來對 RocStories 數據集中的 context 進行編碼,并且將從 ConceptNet 中檢索得到的知識進行編碼,利用 multi-source attention 的方式融合到 context 的編碼過程中。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2775
源碼鏈接
https://github.com/JianGuanTHU/StoryEndGen
@paperweekly 推薦
#Named Entity Recognition
本文是曼徹斯特大學和豐田工業大學發表于 NAACL 2018 的工作,論文提出了一種由 flat NER layers 動態連續堆疊而成的神經網絡模型,每個 flat NER layer 含有一個 BiLSTM 和 CRF 分別進行輸入編碼和標簽預測,整體模型為 Layered-BiLSTM-CRF。
當前 flat layer 將已被識別為實體的 token 經過 LSTM 處理的新表示合并起來,傳遞給下一個 flat layer,從而使得模型能以從內到外的方式,充分利用內部實體編碼信息識別出外部實體,直到沒有更外部的實體被識別出來。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2696
源碼鏈接
https://github.com/meizhiju/layered-bilstm-crf
@xiaolu 推薦
#Visual Question Answering
本文是一篇來自港中文、清華大學等機構的最新 VQA 論文,被 CVPR 2019 接收為口頭報告。Github 上已經有人復現了該工作。
學習多模態之間的高效特征融合是視覺問答問題的核心,本文提出了一種動態融合多模態特征的新方法,通過模態內(intra-modality )和模態間(inter-modality)的信息流,交替地在視覺和語言模態之間傳遞動態信息。它可以穩健地捕獲語言和視覺域之間的高層次語義交互,從而顯著提高視覺問答的性能。?
本文還發現,基于其它模態的約束,一種模態內的注意力可以動態調節目標模態的注意力。本文模型在 VQA2.0 數據集上實現了當前最好的效果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2859
源碼鏈接
https://github.com/bupt-cist/DFAF-for-VQA.pytorch
@vimjian 推薦
#6D Object Pose Estimation
本文是斯坦福和上海交大發表于 CVPR 2019 的工作,論文提出了一種可單獨處理兩個數據源的異質架構—DenseFusion。實驗表明,DenseFusion 在 YCB-Video 和 LineMOD 兩個數據集上的表現都優于當前最先進的方法。此外,研究者還將該方法應用于真實的機器人上,使其可以根據估計的姿態來抓取和操縱目標。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2862
源碼鏈接
https://github.com/j96w/DenseFusion
@Flawless1202 推薦
#Object Detection
本文是中山大學和華為諾亞方舟實驗室發表于 NeurIPS 2018 的工作,論文提出了大尺度目標檢測的新思路,通過顯性知識和隱性知識模塊,將先驗信息融合到神經網絡中以豐富特征,取得了 SOTA 的效果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2820
源碼鏈接
https://github.com/chanyn/HKRM
@paperweekly 推薦
#Pose Transfer
本文來自特倫托大學和Snap,論文研究的問題是將視頻中的物體動作遷移到一張圖片上,然后基于這張圖片和指定動作生成一個新視頻。
作者通過一個深度框架夠將外形和運動信息解耦,該框架由三個模塊組成:1)關鍵點檢測器,可以無監督訓練提取對象關鍵點;2)深度運動預測網絡,可從稀疏關鍵點生成密集的熱圖(heatmaps),從而更好地編碼運動信息;3)運動遷移網絡,該網絡基于運動熱圖和從輸入圖像提取的外形信息去合成輸出幀。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2836
源碼鏈接
https://github.com/AliaksandrSiarohin/monkey-net
@BelieveOP5 推薦
#Image Generation
本文是 Google AI 發表于 PMLR 2018 的工作,論文將圖像超分辨和 Self-Attention 機制結合起來,提出了一種將 Self-Attention 機制應用在圖像生成領域上的新方法,值得一看。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2842
源碼鏈接
https://github.com/tensorflow/tensor2tensor
@alichen 推薦
#Robotics
本文是普渡大學發表于 ICRA 2019 的工作。這篇文章提出了 Flapping Wing Micro Air Vehicles (FWMAVs) 開源仿真平臺,并比較了仿真和實驗測得的 force map,開環控制響應及閉環控制響應,發現仿真結果和實驗結果非常相近。
和其他機器人仿真相比(例如 legged robots, ground vehicles),FWMAVs 仿真需要考慮在高頻的 flapping motion 下,周圍空氣動力學的不穩定性,對系統進行建模難度更大。這個平臺可用于機器人設計、控制與優化的研究,并與和 OpenAI Gym 環境完全兼容,利于今后強化學習和飛行控制相結合的研究。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2860
源碼鏈接
https://github.com/purdue-biorobotics/flappy
@paperweekly 推薦
#Collaborative Filtering
本文是 Netflix、MIT 和 Google AI 發表于 WWW 2018 的工作,論文將變分自編碼器(VAE)擴展到協同過濾以進行隱式反饋,通過非線性概率模型克服線性因子模型的局限。其次,作者引入了具有多項式似然(multinomial likelihood)的生成模型,并使用貝葉斯推斷進行參數估計。
作者基于 VAE 提出了一個生成模型 VAE_CF,并針對 VAE 的正則參數和概率模型選取做了適當調整,使其在當前推薦任務中取得最佳結果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2606
源碼鏈接
https://github.com/dawenl/vae_cf
@zhangjun 推薦
#Bayesian Neural Network
本文是 UCLA 和 UC Davis 發表于 ICLR 2019 的工作,論文提出了一種新的對抗防御方法,結合了貝葉斯神經網絡(BNN)和對抗訓練的優勢,獲得了不錯的效果。其中,BNN 將每個權重參數視作一個隨機變量,在預測時相當于一個無限個數的集成模型,實驗證明只依靠 BNN 并不能做好防御,結合對抗訓練才會提升模型的防御能力。
點評:本文沒有提出原創的方法,而是結合兩種現有的方法進行了組合測試,取得了不錯的效果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2758
源碼鏈接
https://github.com/xuanqing94/BayesianDefense
@RememberMe 推薦
#Financial Time Series
本文提出了一種確定股票價格時間序列中最佳 buy, sell, hold 時間點的股票交易模型,作者結合了兩種已有方法 GA+DMLP (Genetic Algorithm and Deep Multi Layer Perceptron)。
具體思路:已有 1)技術分析指標(technical analysis indicator)作為深度網絡模型的輸入特征來做時間序列預測;2)用于技術分析指標尋優的進化算法。本文結合二者,將進化算法優化后的技術分析指標作為深度網絡的輸入特征,從而嘗試使深度網絡從進化算法的優化中學習判斷最佳的進出點。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2889
源碼鏈接
https://github.com/omerbsezer/SparkDeepMlpGADow30
@chlr1995?推薦
#Network Pruning
本文是圖森發表在 ECCV 2018 的工作,論文在結構稀疏化的基礎上提出了一種更簡潔的方式,達到粗粒度的剪枝(直接剪枝整個 residual function/aggregated residual block 中的一個 group),通過引入一個結構縮放因子 lambda,在訓練過程中對 lambda 施加一個 L1 正則化,訓練結束后,剪掉 lambda=0 的塊或 group,達成網絡剪枝的效果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2540
源碼鏈接
https://github.com/huangzehao/sparse-structure-selection
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀念周邊一份
▲?深度學習主題行李牌/卡套 + 防水貼紙
?禮物領取方式?
推薦人請根據論文詳情頁底部留言
添加小助手領取禮物
*每位用戶僅限領取一次
想要贏取以上周邊好禮?
點擊閱讀原文即刻推薦論文吧!
點擊以下標題查看往期推薦:?
??開學綜合癥有救了!17篇最新AI論文不容錯過
??NLP、CV、ML方向最新論文清單
??本周有哪些值得讀的論文?不如看看這18篇
??近期值得讀的10篇GAN進展論文
??近期必讀的12篇「推薦系統」相關論文
??近期知識圖譜頂會論文推薦,你都讀過哪幾篇?
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢??答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是最新論文解讀,也可以是學習心得或技術干貨。我們的目的只有一個,讓知識真正流動起來。
??來稿標準:
? 稿件確系個人原創作品,來稿需注明作者個人信息(姓名+學校/工作單位+學歷/職位+研究方向)?
? 如果文章并非首發,請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發,均會添加“原創”標志
? 投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請單獨在附件中發送?
? 請留下即時聯系方式(微信或手機),以便我們在編輯發布時和作者溝通
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取更多論文推薦
總結
以上是生活随笔為你收集整理的本周值得读的15篇AI论文,还有源码搭配服用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CVPR 2019 | 无监督领域特定单
- 下一篇: AI 引领产业变革:相关岗位起薪33w