「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識(shí)并不是一個(gè)最好的方式，而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請(qǐng)到北京航空航天大學(xué)計(jì)算機(jī)學(xué)院博士生張帥，為大家在線解讀 AAAI 2021 最佳論文?Informer：比 Transformer 更有效的長(zhǎng)時(shí)間序列預(yù)測(cè)方法。對(duì)本期主題感興趣的小伙伴，3 月 23 日（周二）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

直播信息

長(zhǎng)時(shí)間序列分析預(yù)測(cè)一直是人工智能基礎(chǔ)理論研究的難點(diǎn)，對(duì)工業(yè)健康維護(hù)、疾病傳播預(yù)測(cè)、網(wǎng)絡(luò)安全分析等關(guān)鍵領(lǐng)域具有重要作用。本文指出“傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)因誤差逐層累積”已不能滿(mǎn)足長(zhǎng)序列數(shù)據(jù)分析的需求，并首次明確了 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)對(duì)長(zhǎng)序列問(wèn)題建模的重要意義。該架構(gòu)的核心優(yōu)勢(shì)是構(gòu)建了自注意力機(jī)制來(lái)捕捉跨長(zhǎng)度的前后相關(guān)性，但其伴隨的重大挑戰(zhàn)是自注意力操作具有隨輸入長(zhǎng)度的二次時(shí)間復(fù)雜度，無(wú)法適用于長(zhǎng)序列輸入和輸出。

據(jù)此，本論文突破了傳統(tǒng)自注意力的計(jì)算復(fù)雜度限制，提出一種全新的從概率角度進(jìn)行自注意力矩陣稀疏化的模型。該模型可以允許以非啟發(fā)式的方式對(duì)自注意力計(jì)算進(jìn)行長(zhǎng)尾顯著性分析，摘取長(zhǎng)序列中重要的前后相關(guān)性對(duì)，可以依采樣方案將計(jì)算復(fù)雜度降低至對(duì)數(shù)線性復(fù)雜度，使得自注意力滿(mǎn)足長(zhǎng)序列分析的建模要求。同時(shí)，該論文還提出了注意力蒸餾機(jī)制來(lái)允許構(gòu)建更深的長(zhǎng)序列堆疊模型，同時(shí)通過(guò)生成式解碼來(lái)實(shí)現(xiàn)長(zhǎng)序列單次前向輸出。

這是首次在長(zhǎng)序列問(wèn)題上運(yùn)用 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)，依靠所提出的可分析稀疏化、注意力蒸餾和生成式解碼組成 Informer 網(wǎng)絡(luò)結(jié)構(gòu)，可以在同樣硬件限制下顯著提高序列分析任務(wù)性能，為解決長(zhǎng)序列問(wèn)題提供了一種全新的解決方案。

本次分享的具體內(nèi)容有：?

• 解釋長(zhǎng)時(shí)間序列分析預(yù)測(cè)問(wèn)題

• 介紹 Informer 模型

• 論文實(shí)驗(yàn)結(jié)果分析

• 總結(jié)

嘉賓介紹

?張帥?/ 北京航空航天大學(xué)博士生?

張帥，北京航空航天大學(xué)計(jì)算機(jī)學(xué)院博士生，研究方向?yàn)闄C(jī)器學(xué)習(xí)與工業(yè)、醫(yī)療等產(chǎn)業(yè)界中實(shí)際問(wèn)題的結(jié)合與應(yīng)用。參與研制的設(shè)備故障預(yù)測(cè)系統(tǒng)在國(guó)家電網(wǎng)山東等省份 1300 余臺(tái)大型變壓器上應(yīng)用，2020 年參與高精尖創(chuàng)新中心的新冠疫情大數(shù)據(jù)防控分析任務(wù)，支撐國(guó)家疫情防控決策，得到了國(guó)務(wù)院辦公廳、北京市衛(wèi)健委等專(zhuān)函致謝。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | AAAI 2021最佳论文：比Transformer更有效的长时间序列预测的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。