【基于Python】 - 人工智能机器学习深度学习数据分析 - 常见问题，常用的套路与操作（持续更新）
20200221；
1.做分類問題的時(shí)候，給定你標(biāo)簽，你想知道每一類標(biāo)簽的出現(xiàn)頻數(shù)，可以使用這個(gè)函數(shù)：np.bincount()。
如果想分析一下數(shù)據(jù)樣本是否均衡的時(shí)候，可以考慮這種操作，代碼十分簡(jiǎn)明。
?
2.
當(dāng)需要查看數(shù)據(jù)集中兩個(gè)Key對(duì)應(yīng)的數(shù)據(jù)是否是統(tǒng)一數(shù)據(jù)轉(zhuǎn)化而來(lái)的時(shí)候：
輸入：from sklearn.datasets import load_digits digits=load_digits() digits.keys() n_samples,n_features=digits.data.shape print((n_samples,n_features))print(digits.data.shape) print(digits.images.shape)import numpy as np print(np.all(digits.images.reshape((1797,64))==digits.data))輸出：(1797, 64) (1797, 64) (1797, 8, 8) True在這個(gè)數(shù)據(jù)集中，其實(shí)對(duì)于每一張圖像image中是8*8的，而data是1*64的就是了。
20200308：?
3.顯示進(jìn)度條的神器
引入一個(gè)包：tqdm（anaconda自帶）
git鏈接：https://github.com/tqdm/tqdm
這個(gè)包是用來(lái)顯示進(jìn)度條的，很漂亮，使用很直觀（在循環(huán)體里邊加個(gè)tqdm），而且基本不影響原程序效率。這樣在寫運(yùn)行時(shí)間很長(zhǎng)的程序時(shí)，可以用到。
使用方式見下圖：
在循環(huán)體內(nèi)套一個(gè)tqdm()，就可以實(shí)現(xiàn)每執(zhí)行一遍循環(huán)，進(jìn)度條就會(huì)前進(jìn)1，十分直觀。
但是有個(gè)問題，如果循環(huán)里面要進(jìn)行輸出的話，就有點(diǎn)難受了。
import time from tqdm import tqdm for i in tqdm(range(20)):time.sleep(0.5)print('hello',i)參考鏈接：https://spaces.ac.cn/archives/3902
?
20200403
在讀入圖片進(jìn)行操作的時(shí)候，需要預(yù)處理，一般都先預(yù)處理到RGB格式，因?yàn)橛袝r(shí)會(huì)給定的原始圖片未經(jīng)清洗，所以有可能是'P'? mode 或者‘RGBA’ mode，
所以常見套路：
for i in range(100):img = Image.open(train_image_path[i]).convert("RGB")img = img.resize((256,256),Image.ANTIALIAS)X_train[i] = np.array(img)?
參考鏈接：https://blog.csdn.net/qiusuoxiaozi/article/details/79556605
?
20200403
對(duì)數(shù)據(jù)進(jìn)行處理時(shí)，或者將numpy擴(kuò)充維數(shù)時(shí)，（比如你要導(dǎo)入1000張圖片），要注意首先要檢查1000張圖片的shape是否一樣。
并且，先用list去append，最后再轉(zhuǎn)numpy，速度會(huì)非常慢，所以最好的辦法有如下兩個(gè)：
1. 用numpy的np.concatenate函數(shù)
2. 直接提前開好numpy數(shù)組，然后直接賦值即可，比如下面這段程序：?
常見套路：
import matplotlib.pyplot as plt from PIL import Image import numpy as np import glob train_image_path = glob.glob('cat1000/*.jpg') X_train = np.zeros((1000,256,256,3))for i in range(100):img = Image.open(train_image_path[i]).convert("RGB")img = img.resize((256,256),Image.ANTIALIAS)X_train[i] = np.array(img)?
參考鏈接：https://blog.csdn.net/qq_31785005/article/details/78460757
20200425
進(jìn)行數(shù)據(jù)預(yù)處理的時(shí)候，要注意數(shù)據(jù)類型的問題，比如tf.image.resize_images函數(shù)，在參數(shù)的選擇上，推薦選擇雙線性插值，因?yàn)殡p三次差值可能會(huì)出現(xiàn)取值范圍不在0-255范圍內(nèi)的情況。
https://blog.csdn.net/u011583927/article/details/103307473
?
20200426
注意使用PCA降維的時(shí)候，要先標(biāo)準(zhǔn)化再進(jìn)行降維！
比如可以直接用sklearn的
from sklearn.preprocessing import StandardScaler
然后StandardScaler().fit(數(shù)據(jù)集) 就完事了。
20200426
做分類時(shí)：
kNN算法在確定分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別。kNN算法在類別決策時(shí)，只與極少量的相鄰樣本有關(guān)。由于kNN算法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來(lái)確定所屬類別的，因此對(duì)于類域的交叉或重疊較多的待分樣本集來(lái)說(shuō)，kNN方法較其他方法更為適合。
https://www.cnblogs.com/ljhdo/p/10600613.html
20200426
繪圖常用：
plt.xlim、plt.ylim 設(shè)置橫縱坐標(biāo)軸范圍?
plt.xlabel、plt.ylabel 設(shè)置坐標(biāo)軸名稱?
plt.xticks、plt.yticks設(shè)置坐標(biāo)軸刻度
另外也可以使用plt.axis([xmin, xmax, ymin, ymax])確定坐標(biāo)值的范圍
# 設(shè)置刻度字體大小
plt.xticks(fontsize=20)
plt.yticks(fontsize=20)
# 設(shè)置坐標(biāo)標(biāo)簽字體大小
ax.set_xlabel(..., fontsize=20)
ax.set_ylabel(..., fontsize=20)
?
https://blog.csdn.net/htuhxf/article/details/82986440
https://blog.csdn.net/helunqu2017/article/details/78736415
?
?
對(duì)于分類問題常用來(lái)做結(jié)果分析：
?
混淆矩陣：
n類問題，則生成n*n的矩陣
20200426
zip進(jìn)行打包的話，輸出一次之后就自動(dòng)解除打包了，如需第二次使用，還需再zip一次。
?
20200506
用conda安裝包時(shí)，可以直接：（假設(shè)要安裝cuda和cudnn）
?
20200506
sourse可以省略。
20200512
從某文件夾中讀取所有圖片常用操作：
image_paths=[os.path.join(path, f) for f in os.listdir(path)]或者用glob.glob也是可以的?
文件路徑相關(guān)操作：
os.path.split(image_path)[-1].split(".")[-1]?如果im.read()，讀入了一張空?qǐng)D或者報(bào)錯(cuò)，考慮是不是絕對(duì)路徑中出現(xiàn)了中文。或者是斜杠反斜杠問題。
20200514
cv2.resize()函數(shù)參數(shù)比較容易出錯(cuò)。
正常來(lái)說(shuō)img.shape = (h , w)
大師resize的時(shí)候傳入的參數(shù)需要是(w,h)。詳情看下面的例子：
import cv2 from scipy import miscimg = misc.imread('001.jpg') print(img.shape) img2 = cv2.resize(img, (30, 40), interpolation=cv2.INTER_CUBIC) print(img2.shape) img3 = cv2.resize(img, (40, 30), interpolation=cv2.INTER_CUBIC) print(img3.shape)輸出： (250, 250, 3) (40, 30, 3) (30, 40, 3)參考鏈接：https://blog.csdn.net/FortiLZ/article/details/81396566?
20200517
在進(jìn)行樣本歸一化的時(shí)候，要注意訓(xùn)練集歸一化了，那么測(cè)試集也要?dú)w一化，且測(cè)試集要用訓(xùn)練集的均值，方差，最大值最小值進(jìn)行歸一化。原因很好解釋，因?yàn)槟阍陬A(yù)測(cè)的時(shí)候，其實(shí)是不知道測(cè)試集的均值等這些屬性的
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的【基于Python】 - 人工智能机器学习深度学习数据分析 - 常见问题，常用的套路与操作（持续更新）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【PAT - 甲级1006】Sign I
- 下一篇： 【Python学习】 - sklearn