「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識(shí)并不是一個(gè)最好的方式，而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請(qǐng)到騰訊微信事業(yè)群應(yīng)用研究員陸元福，為大家解讀其發(fā)表于 AAAI 2021?的最新工作。對(duì)本期主題感興趣的小伙伴，1 月 28 日（周四）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

直播信息

傳統(tǒng) GNN 預(yù)訓(xùn)練是一個(gè)兩階段的流程，即先在大規(guī)模圖數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，進(jìn)而在下游數(shù)據(jù)上進(jìn)行微調(diào)。但是，通過對(duì)兩階段優(yōu)化目標(biāo)的分析，我們發(fā)現(xiàn)這兩個(gè)步驟之間是存在一些差異的，這一差異在一定程度上影響預(yù)訓(xùn)練模型的遷移效果。因此，在本文中，我們考慮如何緩解傳統(tǒng)預(yù)訓(xùn)練和微調(diào)兩個(gè)步驟之間差異，從而更好的實(shí)現(xiàn)知識(shí)遷移。

基于此，我們提出了一種自監(jiān)督預(yù)訓(xùn)練策略，充分利用無標(biāo)簽的圖數(shù)據(jù)，并在兩個(gè)大規(guī)模數(shù)據(jù)集上取得了顯著提升。同時(shí)，我們還發(fā)布了一個(gè)包含百萬量級(jí)子圖的大規(guī)模圖數(shù)據(jù)，可用于圖分類等任務(wù)。代碼及數(shù)據(jù)已公開。

論文標(biāo)題：

Learning to Pre-train Graph Neural Networks

論文鏈接：

https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

代碼鏈接：

https://github.com/rootlu/L2P-GNN

本次分享的具體內(nèi)容有：?

• 在傳統(tǒng)的 GNN 預(yù)訓(xùn)練模型中，存在預(yù)訓(xùn)練和微調(diào)之間有差異的問題

• 為了緩解這一差異，我們提出了一種自監(jiān)督的預(yù)訓(xùn)練模型

• 在兩個(gè)大規(guī)模數(shù)據(jù)集上，所提出的模型取得了顯著提升。

嘉賓介紹

?陸元福?/?騰訊微信事業(yè)群應(yīng)用研究員?

陸元福，騰訊微信事業(yè)群應(yīng)用研究員，碩士畢業(yè)于北京郵電大學(xué)計(jì)算機(jī)學(xué)院，主要研究方向：graph embedding、recommender systems 和 meta learning。目前以第一（學(xué)生）作者在 IEEE TKDE、KDD、AAAI 和 CIKM 等會(huì)議發(fā)表相關(guān)論文多篇。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。