深度學(xué)習(xí)數(shù)據(jù)庫總結(jié)

感謝感謝~收藏用！

原文出自：https://blog.csdn.net/chaipp0607/article/details/71403797

數(shù)據(jù)的準(zhǔn)備工作是訓(xùn)練模型前的必要工作，顯然這也是非常耗時的，所以在入門階段我們完全可以用現(xiàn)有的開源圖片庫快速完成前期的準(zhǔn)備工作：

ImageNet

??ImageNet是根據(jù)WordNet層次結(jié)構(gòu)（目前只有名詞）組織的圖像數(shù)據(jù)庫，其中層次結(jié)構(gòu)的每個節(jié)點都由數(shù)百和數(shù)千個圖像描繪。 目前，數(shù)據(jù)庫中每個節(jié)點平均擁有超過五百幅圖像。 我們希望ImageNet將成為研究人員，教育工作者，學(xué)生以及分享我們對圖片熱情的所有人的有用資源。?
??ImageNet的一些特點：?
??ImageNet是全球最大的開源圖片庫，截至到現(xiàn)在（2017.5）ImageNet共有一千四百多萬張圖片。其中包括超過20000個synset(s)，synset是近義詞的合集，synsnet可以理解為ImageNet整理的標(biāo)簽。?
??說到WordNet層次結(jié)構(gòu)，就要提一下什么是WordNet，WordNet是普林斯頓大學(xué)開源的詞匯庫，可以理解為是一個詞典。每個詞語(word)可能有多個不同的語義，對應(yīng)不同的sense。而每個不同的語義（sense）又可能對應(yīng)多個詞，如topic和subject在某些情況下是同義的，WordNet由Princeton 大學(xué)的心理學(xué)家，語言學(xué)家和計算機(jī)工程師聯(lián)合設(shè)計的一種基于認(rèn)知語言學(xué)的英語詞典。它不是光把單詞以字母順序排列，而且按照單詞的意義組成一個“單詞的網(wǎng)絡(luò)”。WordNet 主要有3個主概念 Synset, WordSense 和 Word。而ImageNet就是應(yīng)用了synset這個概念，只是ImageNet目前只有名詞。?
??由于圖片的版權(quán)問題，ImageNet中的圖片以URLs的形式提供下載，也就是說ImageNet只提供這個圖片在哪，而不直接提供圖片本身。?
?
??我們在ImageNet搜索一個synset的時，左側(cè)可以看到他的層次結(jié)構(gòu)WordNet，在Download中提供了URLs的下載地址。

CIFAR

??CIFAR由Alex Krizhevsky, Vinod Nair和 Geoffrey Hinton收集并整理，在Visual Dictionary的80萬張圖片中選擇了6萬張，并把它們分為CIFAR-10 和CIFAR-100。?
??CIFAR-10數(shù)據(jù)集包含60000個32*32的彩色圖像，共有10類。有50000個訓(xùn)練圖像和10000個測試圖像。數(shù)據(jù)集分為5個訓(xùn)練塊和1個測試塊，每個塊有10000個圖像。測試塊包含從每類隨機(jī)選擇的1000個圖像。訓(xùn)練塊以隨機(jī)的順序包含這些圖像，但一些訓(xùn)練塊可能比其它類包含更多的圖像。訓(xùn)練塊每類包含5000個圖像。?
??CIFAR-100數(shù)據(jù)集包含100小類，每小類包含600個圖像，其中有500個訓(xùn)練圖像和100個測試圖像。100類被分組為20個大類。?

MNIST

??MNIST深度學(xué)習(xí)領(lǐng)域中大名鼎鼎的數(shù)據(jù)集—MNIST,幾乎所有的深度學(xué)習(xí)教程的入門實例都是手寫數(shù)字識別，而它們用到的庫就是MNIST。這就好比我們學(xué)習(xí)一門語言的時候顯示”hello world”。?
??MNIST數(shù)據(jù)集共包含7萬個樣本，分別是手寫體數(shù)字0~9，樣本大小為28*28。

Labeled Faces in the Wild

??Labeled Faces in the Wild數(shù)據(jù)庫中收集了1萬3千多張人臉圖像，共包含了5000多個人物。每個人標(biāo)記除了人物的名字外，還包含了其他信息，比如性別，年齡等

Quick Draw

??Quick Draw是由google發(fā)布的涂鴉數(shù)據(jù)集，其中包含 5000 萬張圖畫的集合，分成了 345 個類別，它其實就是張這個樣子：?

??這么看起來這個數(shù)據(jù)集還是挺無聊的，它的發(fā)布其實是源于谷歌推出的?AutoDraw?，這是一個能把你的隨手涂鴉變成繪畫的人工智能技術(shù)工具，就是這樣（谷歌總是在做一些很好玩的東西）：?

??谷歌也曾發(fā)布論文和博客介紹了其背后的技術(shù)。實際上，AutoDraw 所用的技術(shù)基于谷歌先前的涂鴉實驗「Quick, Draw!」。近日，谷歌發(fā)布了該項目背后的數(shù)據(jù)集，就是之前提到的Quick Draw數(shù)據(jù)集了。這個項目同時發(fā)布到了git上，在git的地址中對數(shù)據(jù)集進(jìn)行了詳細(xì)的介紹，在這里簡要描述下：

??原始數(shù)據(jù)在 ndjson 文件中，并按類別進(jìn)行了分割，按照如下格式：?

??該數(shù)據(jù)集在谷歌云存儲服務(wù)中，在 ndjson 文件中分類存儲。請參閱 Cloud Console 中的文件列表，數(shù)據(jù)集分類如下：

Raw files (.ndjson)?
Simplified drawings files (.ndjson)?
Binary files (.bin)?
Numpy bitmap files (.npy)

??其中原始文件和簡筆畫都是.ndjson形式存儲，同時提供了二進(jìn)制文件（.bin）和Numpy 位圖（.npy）文件。

Binary files (.bin)?
??我們也提供了簡化后的繪畫和元數(shù)據(jù)的定制二進(jìn)制格式，可用于高效的壓縮和加載。examples/binary_file_parser.py 給出了如何用 Python 加載該文件的示例。

Numpy 位圖（.npy）?
??所有簡化過的繪畫也都被轉(zhuǎn)換成了 28×28 的灰度位圖，保存為 numpy 的 .npy 格式。該文件可以通過 np.load() 函數(shù)加載。

AI-Challneger

??AI-Challneger是一個由創(chuàng)新工場發(fā)起的大賽，其中有6個項目，每一個項目下都提供了配套的數(shù)據(jù)集，比如場景分類項目下，到目前為止提供了三個數(shù)據(jù)集，分別是訓(xùn)練集（train），驗證集（valuation）和測試集A（test_a），分別包含圖片5w+，7k+，7k+；包含80類場景圖，支持直接下載原圖。?

kaggle cats vs. dogs

??貓狗大戰(zhàn)數(shù)據(jù)集，大名鼎鼎的kaggle大賽下的數(shù)據(jù)，一個二分類數(shù)據(jù)集，訓(xùn)練集中貓狗圖片各12500張，測試集中貓狗圖片共12500張，支持原圖下載。?

notMNIST

??notMNIST數(shù)據(jù)集起做這個名字是為了致敬MNIST，它提供了從A到J是個字母的圖片，圖片大小為28*28，而且圖片不是手寫字母，而是來源于網(wǎng)絡(luò)上各種各樣奇奇怪怪的圖片，比如字母A：?
?
??該數(shù)據(jù)集提供了兩個版本，其中l(wèi)arge版中，每個類大概5.3W左右的圖片，總數(shù)在53W個，類別間數(shù)據(jù)比較平均。

Pascal VOC

??PASCAL VOC挑戰(zhàn)賽是視覺對象的分類識別和檢測的一個基準(zhǔn)測試，提供了檢測算法和學(xué)習(xí)性能的標(biāo)準(zhǔn)圖像注釋數(shù)據(jù)集和標(biāo)準(zhǔn)的評估系統(tǒng)。PASCAL VOC圖片集包括20個目錄：人類；動物（鳥、貓、牛、狗、馬、羊）；交通工具（飛機(jī)、自行車、船、公共汽車、小轎車、摩托車、火車）；室內(nèi)（瓶子、椅子、餐桌、盆栽植物、沙發(fā)、電視）。PASCAL VOC挑戰(zhàn)賽在2012年后便不再舉辦，但其數(shù)據(jù)集圖像質(zhì)量好，標(biāo)注完備，非常適合用來測試算法性能。

COCO common objects Dataset

??COCO數(shù)據(jù)集由微軟贊助，其對于圖像的標(biāo)注信息不僅有類別、位置信息，還有對圖像的語義文本描述，COCO數(shù)據(jù)集的開源使得近兩三年來圖像分割語義理解取得了巨大的進(jìn)展，也幾乎成為了圖像語義理解算法性能評價的“標(biāo)準(zhǔn)”數(shù)據(jù)集。Google的開源show and tell生成模型就是在此數(shù)據(jù)集上測試的。?
目前包含的比賽項目有：?
1.目標(biāo)檢測（COCO Detection Challenge），包含兩項比賽：?
??輸出目標(biāo)物的邊框即可（using bounding box output），也就是我們常說的目標(biāo)檢測(object detection)了?
要求把目標(biāo)物從圖像中分割出來（object segmentation output），即我們所說的圖像語義分割（Semantic image segmentation）?
2.圖像標(biāo)注（COCO Captioning Challenge）?
??具體說來就是一句話準(zhǔn)確描述圖片上的信息（producing image captions that are informative and accurate）。那這個怎么評分呢？目前是靠人工評分。?
3.人體關(guān)鍵點檢測（COCO Keypoint Challenge）?
??比賽要求是找到人在哪，然后定位到人體的一些關(guān)鍵點位置（The keypoint challenge involves simultaneously detecting people and localizing their keypoints）。?

CityScapes

??CityScapes數(shù)據(jù)場景包括50個不同城市（主要在德國），春夏秋三個季節(jié)白天的場景，有大量的動態(tài)目標(biāo)不同層次的場景和多樣的背景。場景不包括下大雨的和下雪的，因為這種場景需要用特殊的技術(shù)處理。?
??圖像數(shù)據(jù)分為30類：除了有 5000幀細(xì)標(biāo)注的（像素級別的），標(biāo)注一張圖時間控制在１.5h左右，精細(xì)標(biāo)注的數(shù)據(jù)劃分成如下圖訓(xùn)練驗證測試集，不是隨機(jī)劃分的，而是確保每個劃分的數(shù)據(jù)集里面包含各種場景。最終有2975張用來訓(xùn)練，500張用來驗證，1525張用來測試。此外，還有20000張弱標(biāo)注的幀，只用來訓(xùn)練，標(biāo)注一張圖控制在７min內(nèi)。?

持續(xù)更新中……

總結(jié)

以上是生活随笔為你收集整理的深度学习图像数据库总结（收藏用）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。