The benchmarking datasets are the basis of fair comparison and validation of computational methods.

什么是 benchmark datasets

benchmark datasets（基準(zhǔn)數(shù)據(jù)庫）是公平比較和驗證計算方法的基礎(chǔ)，基準(zhǔn)數(shù)據(jù)集用于基準(zhǔn)測試，是一個算法模型性能的衡量基準(zhǔn)，很多特定機器學(xué)習(xí)問題都需要基準(zhǔn)測試數(shù)據(jù)。

算法在數(shù)據(jù)集上跑可以理解為跑分，基準(zhǔn)數(shù)據(jù)集就是作為一個評價標(biāo)準(zhǔn)的數(shù)據(jù)集，大家很多都在上面跑，用來評價一個算法模型的好壞。否則大家都在不同的數(shù)據(jù)集上跑，如何評價誰的算法好，誰的算法壞呢？

benchmark datasets 和 baseline 有什么區(qū)別

benchmark 是一個過程，baseline 是 benckmark 這個過程中的一次實例。

baseline 可以理解為最低的標(biāo)準(zhǔn)，即低于這個標(biāo)準(zhǔn)肯定是不行的；而 benchmark 可以理解為”某一刻度”，這個刻度可高可低，所以 benchmark 本身沒有好壞，單純用來進(jìn)行比較。

baseline 是客觀的，原始數(shù)據(jù)要扣除 baseline 才是最終的 value。而 benchmark 相對主觀，是一個標(biāo)準(zhǔn)值，視依據(jù)而定，主要用來平行比較。

個人理解

高中我們就學(xué)過，科學(xué)實驗的一個重要原則在于控制變量，benchmark 和 baseline 其實都是控制變量而已。

我的理解，一般用 benchmark data 做實驗，測試 A B C D 四個模型，然后以結(jié)果最差的一個模型，假設(shè)是 C，作為 baseline，看看其他模型相對 C 提高了多少。

baseline 的目的是比較提出算法的性能或者用以比較彰顯提出算法的優(yōu)勢。

一些基準(zhǔn)數(shù)據(jù)庫

• 1 UCL 機器學(xué)習(xí)知識庫
• 2 Amazon AWS 公開數(shù)據(jù)集
• 3 Kaggle
• 4 KDnuggets
• 5 美國聯(lián)邦政府?dāng)?shù)據(jù)集
• 6 來自 infochimps 公司的數(shù)據(jù)集
• 7 百萬歌曲數(shù)據(jù)庫
• 8 蛋白質(zhì)信息資源數(shù)據(jù)集
• 9 手寫數(shù)字圖像數(shù)據(jù)集
• 10 人臉識別數(shù)據(jù)庫
• 11 一些貝葉斯網(wǎng)
• 12 kdd99 數(shù)據(jù)集
• 13 數(shù)據(jù)集索引
• 14 華盛頓大學(xué)
• 15 搜狗數(shù)據(jù)資源

參考文章

baseline 和 benchmark 有什么區(qū)別？

Special Issue : Benchmarking Datasets in Bioinformatics - MDPI

總結(jié)

以上是生活随笔為你收集整理的benchmark datasets是什么的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。