OpenKG地址：http://openkg.cn/dataset/melbench

GitHub地址：https://github.com/seukgcode/MELBench

開放許可協議：CC BY-SA 4.0 （署名相似共享）

貢獻者：東南大學（汪鵬、周星辰、鄧臻凱、李國正、謝佳鋒、吳江恒）

---

1. 摘要

多模態實體鏈接是多模態數據處理的基礎任務之一，旨在將多模態數據中的實體鏈接到知識圖譜中，在多模態數據理解、多模態知識圖譜、多模態問答中具有廣泛應用意義。然而，目前開源和能重現的多模態實體鏈接數據集還很少，一定程度上制約著相關工作的研究。

東南大學團隊發布的多模態實體鏈接數據集MELBench包含3個任務：Weibo-MEL、Wikidata-MEL和Richpedia-MEL數據集，數據源分別包含來自社交媒體、百科知識和多模態知識圖譜等領域，分別包含2.5萬、1.8萬和1.7萬條多模態實體鏈接數據，每條數據均為人工標注，包含與目標實體相關的文本信息和視覺信息。該數據集能夠為多模態實體鏈接（MEL）任務提供基準數據支持。

2. 多模態實體鏈接(MEL)

實體鏈接（EL）是將實體描述映射到知識圖譜中相應實體的任務，在語義檢索、推薦系統和問答系統等任務中起到重要的作用。現有的方法主要利用文本信息進行實體鏈接。然而，一方面，通過簡短粗略的文本獲取相應的實體具有很大的挑戰性。另一方面，在現實世界的數據中，例如社交媒體、百科知識和多模態知識圖譜等領域數據，通常同時使用文本和視覺信息描述相應實體。因此，有必要結合多模態信息解決EL問題，這一任務也被稱為多模態實體鏈接（MEL）。

3.?數據集構建

為了構建大規模MEL數據集，促進相關研究，我們提出了一種MEL數據集構建方法，包括五個階段，如下圖所示。在多模態信息抽取階段，我們選擇不同的現實世界多模態數據源，提取文本和視覺信息；在提及抽取階段，我們從文本信息中獲取提及，并保留可能存在相應實體的提及；在實體抽取階段，我們用上一階段保留的提及查詢知識圖譜，收集相關實體列表，并保留提及相應的實體；在三元組構建階段，我們將相應的提及和實體合并為提及-實體對，并將它們與多模態信息抽取階段獲取的文本和視覺信息合并為MEL三元組；最后，在數據集構建階段，我們按照7:1:2的比例，將數據分為訓練集，驗證集和測試集。

4.?數據集詳情

基于上述的MEL數據集構建方法，我們完成了三個MEL數據集構建：

• Weibo-MEL 采用微博作為多模態數據源，并采用 CN-DBpedia 作為知識圖譜。數據集包含 25,602 個樣本，對應 31,516 個提及-實體對。

• Wikidata-MEL 采用 Wikidata 和 Wikipedia 作為多模態數據源，并采用 Wikidata 作為知識圖譜。數據集包含 18,880 個樣本，對應 22,534 個提及-實體對。

• Richpedia-MEL 采用 Richpedia 和 Wikipedia 作為多模態數據源，同樣采用 Wikidata 作為知識圖譜。數據集包含 17,806 個樣本，對應 20,752 個提及-實體對。

此外，我們統計了數據集的文本長度和提及數量，如下圖所示，三個數據集具有較大差異，體現了不同領域的數據特征。

5. 致謝

數據集由東南大學KGCODE實驗室的周星辰、鄧臻凱、李國正、謝佳鋒、吳江恒等同學完成，指導老師汪鵬。

?

---

?

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數據的開放、互聯及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的开源开放 | 多模态实体链接数据集MELBench（CCKS2021）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。