作者介紹：Saurabh.jaju2

Saurabh是一名數據科學家和軟件工程師，熟練分析各種數據集和開發智能應用程序。他目前正在加州大學伯克利分校攻讀信息和數據科學碩士學位，熱衷于開發基于數據科學的智能資源管理系統。

介紹

許多數據科學家經常面對的問題之一：假設有一個包含數百個特征(變量)的數據集，且對數據所屬的域沒有任何了解，需要對該數據集識別其隱藏狀態、探索并分析。本文將介紹一種非常強大的方法來解決該問題。

關于PCA

現實中大多數人會使用PCA進行降維和可視化，但為什么不選擇比PCA更先進的東西呢？關于PCA的介紹可以閱讀該文獻。本文講解比PCA(1933)更有效的算法t-SNE(2008)。

本文內容

1 什么是t-SNE？

2 什么是降維？

3 t-SNE如何在維數降低算法空間中擬合

4 t-SNE算法的細節

5 t-SNE實際上是做什么？

6 用例

7 t-SNE與其他降維算法相比

8 示例實現

R語言

Python語言

數據科學家

機器學習駭客

數據科學愛好者

10 常見錯誤

1 什么是t-SNE

(t-SNE)t分布隨機鄰域嵌入是一種用于探索高維數據的非線性降維算法。它將多維數據映射到適合于人類觀察的兩個或多個維度。

2 什么是降維？

簡而言之，降維就是用2維或3維表示多維數據(彼此具有相關性的多個特征數據)的技術，利用降維算法，可以顯式地表現數據。

3 t-SNE如何在降維算法空間中擬合

常用的降維算法有：

1 PCA(線性)

2 t-SNE(非參數/非線性)

3 Sammon映射(非線性)

4 Isomap(非線性)

5 LLE(非線性)

6 CCA(非線性)

7 SNE(非線性)

8 MVU(非線性)

9 拉普拉斯特征圖(非線性)

只需要研究上述算法中的兩種——PCA和t-SNE。

PCA的局限性

PCA是一種線性算法，它不能解釋特征之間的復雜多項式關系。而t-SNE是基于在鄰域圖上隨機游走的概率分布來找到數據內的結構。

線性降維算法的一個主要問題是不相似的數據點放置在較低維度表示為相距甚遠。但為了在低維度用非線性流形表示高維數據，相似數據點必須表示為非常靠近，這不是線性降維算法所能做的。

4 t-SNE算法的細節

4.1 算法

步驟1：

隨機鄰接嵌入(SNE)通過將數據點之間的高維歐幾里得距離轉換為表示相似性的條件概率而開始，數據點xi、xj之間的條件概率pj|i由下式給出：

其中σi是以數據點xi為中心的高斯方差。

步驟2：

對于高維數據點xi和xj的低維對應點yi和yj而言，可以計算類似的條件概率qj|i

SNE試圖最小化條件概率的差異。

步驟3：

為了測量條件概率差的和最小值，SNE使用梯度下降法最小化KL距離。而SNE的代價函數關注于映射中數據的局部結構，優化該函數是非常困難的，而t-SNE采用重尾分布，以減輕擁擠問題和SNE的優化問題。

步驟4：

定義困惑度：

其中H(Pi)是香農熵

4.2 時間和空間復雜性

算法計算對應的是條件概率，并試圖最小化較高和較低維度的概率差之和，這涉及大量的計算，對系統資源要求高。t-SNE的復雜度隨著數據點數量有著時間和空間二次方。

5 t-SNE實際上是做什么？

t-SNE非線性降維算法通過基于具有多個特征的數據點的相似性識別觀察到的簇來在數據中找到模式。本質上是一種降維和可視化技術。另外t-SNE的輸出可以作為其他分類算法的輸入特征。

6用例

t-SNE幾乎可用于所有高維數據集，廣泛應用于圖像處理，自然語言處理，基因組數據和語音處理。實例有：面部表情識別[2]、識別腫瘤亞群[3]、使用wordvec進行文本比較[4]等。

7?t-SNE與其他降維算法相比

基于所實現的精度，將t-SNE與PCA和其他線性降維模型相比，結果表明t-SNE能夠提供更好的結果。這是因為算法定義了數據的局部和全局結構之間的軟邊界。

8示例實現

在MNIST手寫數字數據庫上實現t-SNE算法。

“Rtsne”包在R中具有t-SNE的實現。“Rtsne”包可以使用在R控制臺中鍵入的以下命令安裝在R中：

超參數調整

代碼

MNIST數據可從MNIST網站下載，并可轉換為具有少量代碼的csv文件。

## calling the installed package

train

library(Rtsne)

## Curating the database for analysis with both t‐SNE and PCA

Labels

train$label

## for plotting

colors = rainbow(length(unique(train$label)))

names(colors) = unique(train$label)

## Executing the algorithm on curated data

tsne

exeTimeTsne

0))

## Plotting

plot(tsne$Y, t='n', main="tsne")

text(tsne$Y, labels=train$label, col=colors[train$label])

實現時間

可以看出，與PCA相比，t-SNE在相同樣本大小的數據上執行需要相當長的時間。

解釋結果

以下圖用于探索性分析。輸出x和y坐標以及成本可以用作分類算法中的特征。

2 Python語言

t-SNE算法可以從sklearn包中訪問。

超參數調整

代碼

以下代碼來自sklearn網站上的sklearn示例。

代碼1

實現時間

## importing the required packages

from time import time

import numpy as np

import matplotlib.pyplot as plt

from matplotlib import offsetbox

from sklearn import (manifold, datasets, decomposition, ensemble,

discriminant_analysis, random_projection)

## Loading and curating the data

digits = datasets.load_digits(n_class=10)

X = digits.data

y = digits.target

n_samples, n_features = X.shape

n_neighbors = 30

## Function to Scale and visualize the embedding vectors

def plot_embedding(X, title=None):

x_min, x_max = np.min(X, 0), np.max(X, 0)

X = (X ‐ x_min) / (x_max ‐ x_min)

plt.figure()

ax = plt.subplot(111)

for i in range(X.shape[0]):

plt.text(X[i, 0], X[i, 1], str(digits.target[i]),

color=plt.cm.Set1(y[i] / 10.),

fontdict={'weight': 'bold', 'size': 9})

if hasattr(offsetbox, 'AnnotationBbox'):

## only print thumbnails with matplotlib > 1.0

shown_images = np.array([[1., 1.]]) # just something big

for i in range(digits.data.shape[0]):

dist = np.sum((X[i] ‐ shown_images) ** 2, 1)

if np.min(dist) < 4e‐3:

## don't show points that are too close

continue

shown_images = np.r_[shown_images, [X[i]]]

imagebox = offsetbox.AnnotationBbox(

offsetbox.OffsetImage(digits.images[i], cmap=plt.cm.gray_r),

X[i])

ax.add_artist(imagebox)

plt.xticks([]), plt.yticks([])

if title is not None:

plt.title(title)

#‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐

## Plot images of the digits

n_img_per_row = 20

img = np.zeros((10 * n_img_per_row, 10 * n_img_per_row))

for i in range(n_img_per_row):

ix = 10 * i + 1

for j in range(n_img_per_row):

iy = 10 * j + 1

img[ix:ix + 8, iy:iy + 8] = X[i * n_img_per_row + j].reshape((8, 8))

plt.imshow(img, cmap=plt.cm.binary)

plt.xticks([])

plt.yticks([])

plt.title('A selection from the 64‐dimensional digits dataset')

## Computing PCA

print("Computing PCA projection")

t0 = time()

X_pca = decomposition.TruncatedSVD(n_components=2).fit_transform(X)

plot_embedding(X_pca,

"Principal Components projection of the digits (time %.2fs)" %

(time() ‐ t0))

## Computing t‐SNE

print("Computing t‐SNE embedding")

tsne = manifold.TSNE(n_components=2, init='pca', random_state=0)

t0 = time()

X_tsne = tsne.fit_transform(X)

plot_embedding(X_tsne,

"t‐SNE embedding of the digits (time %.2fs)" %

(time() ‐ t0))

plt.show()

9 應用方面

9.1數據科學家

對于數據科學家來說，使用t-SNE的主要問題是算法的黑盒類型性質。使用該算法的最佳方法是將其用于探索數據分析。

9.2機器學習駭客

將數據集縮減為2或3維，并使用非線性堆棧器將其堆疊。可以使用XGboost提高t-SNE向量以獲得更好的結果。

9.3數據科學愛好者

對于開始使用數據科學的數據科學愛好者來說，這種算法在研究和性能增強方面提供了最好的機會。針對各種NLP問題和圖像處理應用方面實施t-SNE的研究是一個尚未開發的領域。

10常見錯誤

以下是在解釋t-SNE的結果時要避免的幾個常見錯誤：

1 為了使算法正確執行，困惑度應小于點的數量。一般設置為5-50。

2 具有相同超參數的不同運行可能產生不同的結果。

3 任何t-SNE圖中的簇大小不得用于標準偏差，色散或任何其他類似的評估。

4 簇之間的距離可以改變。一個茫然性不能優化所有簇的距離。

5 可以在隨機噪聲中找到模式。

6 不同的困惑水平可以觀察到不同的簇形狀。

7 不能基于單個t-SNE圖進行分析拓撲，在進行任何評估之前必須觀察多個圖。

本文由北郵@愛可可-愛生活老師推薦，阿里云云棲社區組織翻譯。

文章原標題《Comprehensive Guide on t-SNE algorithm with implementation in R & Python》，作者：Saurabh，譯者：海棠

文章為簡譯，更為詳細的內容，請查看原文

總結

以上是生活随笔為你收集整理的python 降维 聚类_比PCA降维更高级——（R/Python）t-SNE聚类算法实践指南的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。