學(xué)習(xí)筆記，僅供參考

---

熵值法

信息熵介紹

信息熵是將系統(tǒng)無序程度的度量，信息是系統(tǒng)有序程度的度量，二者絕對值相等但符號相反，某項指標(biāo)的指標(biāo)值變異程度越大，信息熵就越小，該指標(biāo)提供的信息量就越大，該指標(biāo)的權(quán)重也應(yīng)越大；反之，某項指標(biāo)的指標(biāo)值變異程度越小，信息熵越大，該指標(biāo)提供的信息量越小，該指標(biāo)的權(quán)重也應(yīng)越小。

計算步驟

首先，我們由于指標(biāo)體系中的各個指標(biāo)的量綱、數(shù)量級不同，我們需要對它們進(jìn)行無量綱化處理，具體方法如下：

$$\begin{gathered} Positiveindicators:x_{ij}^{\prime }=\frac{x_{ij}?x_{min}}{x_{max}?x_{min}} \\ Negativeindex:x_{ij}^{\prime }=\frac{x_{max}?x_{ij}}{x_{max}?x_{min}} \end{gathered}$$

其中，$x_{ij}$為第$i$個樣本第$j$個指標(biāo)的指標(biāo)值，$x_{max}$為第$j$個指標(biāo)的最大值，$x_{min}$為第$j$個指標(biāo)的最小值，其中有$m$個樣本，$n$個指標(biāo)。

根據(jù)各項指標(biāo)值的變異程度，利用信息熵工具，計算出各指標(biāo)權(quán)重，具體步驟為：

• 將各指標(biāo)同度量化，計算第$j$項指標(biāo)下第$i$個樣本指標(biāo)值的比重

$$p_{ij}=\frac{x_{ij}}{{\sum }_{i=1}^m{x}_{ij}}$$

• 計算第$j$項指標(biāo)的熵值$e_j$

$$ e_j = -k \sum_{i=1}^m p_{ij}lnp_{ij} $$

其中，$k>0$，$e_j\ge 0$，如果$x_{ij}$對于給定的$j$全部相等。則$p_{ij}=\frac{1}{m}$，此時$e_j$取極大值，即：

$$e_j=?k\sum _{i=1}^m\frac{1}{m}ln\frac{1}{m}=klnm$$

若設(shè)$k=\frac{1}{lnm}$，于是有$0\le e_j\le 1$.

• 計算第$j$項指標(biāo)的差異性系數(shù)$g_i$

$$g_j=1?e_j$$

• 對于差異性系數(shù)進(jìn)行歸一化，可計算出各指標(biāo)的權(quán)重

$$w_j=\frac{g_j}{{\sum }_{k=1}^m{g}_k}$$

總結(jié)

以上是生活随笔為你收集整理的数据挖掘学习日志(part1)--熵值法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。