數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識(shí)的過程。數(shù)據(jù)挖掘的任務(wù)是從數(shù)據(jù)集中發(fā)現(xiàn)模式，可以發(fā)現(xiàn)的模式有很多種，按功能可以分為兩大類：預(yù)測性(Predictive)模式和描述性(Descriptive)模式。在應(yīng)用中往往根據(jù)模式的實(shí)際作用細(xì)分為以下幾種：分類，估值，預(yù)測，相關(guān)性分析，序列，時(shí)間序列，描述和可視化等。

數(shù)據(jù)挖掘涉及的學(xué)科領(lǐng)域和技術(shù)很多，有多種分類法。根據(jù)挖掘任務(wù)分，可分為分類或預(yù)測模型發(fā)現(xiàn)、數(shù)據(jù)總結(jié)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)、序列模式發(fā)現(xiàn)、依賴關(guān)系或依賴模型發(fā)現(xiàn)、異常和趨勢(shì)發(fā)現(xiàn)等等;根據(jù)挖掘?qū)ο蠓?#xff0c;有關(guān)系數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫、空間數(shù)據(jù)庫、時(shí)態(tài)數(shù)據(jù)庫、文本數(shù)據(jù)源、多媒體數(shù)據(jù)庫、異質(zhì)數(shù)據(jù)庫、遺產(chǎn)數(shù)據(jù)庫以及環(huán)球網(wǎng)Web;根據(jù)挖掘方法分，可粗分為：機(jī)器學(xué)習(xí)方法、統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)方法和數(shù)據(jù)庫方法。機(jī)器學(xué)習(xí)中，可細(xì)分為：歸納學(xué)習(xí)方法(決策樹、規(guī)則歸納等)、基于范例學(xué)習(xí)、遺傳算法等。統(tǒng)計(jì)方法中，可細(xì)分為：回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費(fèi)歇爾判別、非參數(shù)判別等)、聚類分析(系統(tǒng)聚類、動(dòng)態(tài)聚類等)、探索性分析(主元分析法、相關(guān)分析法等)等。神經(jīng)網(wǎng)絡(luò)方法中，可細(xì)分為：前向神經(jīng)網(wǎng)絡(luò)(BP算法等)、自組織神經(jīng)網(wǎng)絡(luò)(自組織特征映射、競爭學(xué)習(xí)等)等。數(shù)據(jù)庫方法主要是多維數(shù)據(jù)分析或OLAP方法，另外還有面向?qū)傩缘臍w納方法等等。

數(shù)據(jù)挖掘的技術(shù)有很多種，按照不同的分類有不同的分類法。下面著重討論一下數(shù)據(jù)挖掘中常用的一些技術(shù)：統(tǒng)計(jì)技術(shù)，關(guān)聯(lián)規(guī)則，基于歷史的分析，遺傳算法，聚集檢測，連接分析，決策樹，神經(jīng)網(wǎng)絡(luò)，粗糙集，模糊集，回歸分析，差別分析，概念描述等十三種常用的數(shù)據(jù)挖掘的技術(shù)。

1、統(tǒng)計(jì)技術(shù)

數(shù)據(jù)挖掘涉及的科學(xué)領(lǐng)域和技術(shù)很多，如統(tǒng)計(jì)技術(shù)。統(tǒng)計(jì)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行挖掘的主要思想是：統(tǒng)計(jì)的方法對(duì)給定的數(shù)據(jù)集合假設(shè)了一個(gè)分布或者概率模型(例如一個(gè)正態(tài)分布)然后根據(jù)模型采用相應(yīng)的方法來進(jìn)行挖掘。

2、關(guān)聯(lián)規(guī)則

數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之I司存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。

3、基于歷史的MBR(Memory-based Reasoning)分析

先根據(jù)經(jīng)驗(yàn)知識(shí)尋找相似的情況，然后將這些情況的信息應(yīng)用于當(dāng)前的例子中。這個(gè)就是MBR(Memory Based Reasoning)的本質(zhì)。MBR首先尋找和新記錄相似的鄰居，然后利用這些鄰居對(duì)新數(shù)據(jù)進(jìn)行分類和估值。使用MBR有三個(gè)主要問題，尋找確定的歷史數(shù)據(jù);決定表示歷史數(shù)據(jù)的最有效的方法;決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。

4、遺傳算法GA(Genetic Algorithms)

基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。主要思想是：根據(jù)適者生存的原則，形成由當(dāng)前群體中最適合的規(guī)則組成新的群體，以及這些規(guī)則的后代。典型情況下，規(guī)則的適合度(Fitness)用它對(duì)訓(xùn)練樣本集的分類準(zhǔn)確率評(píng)估。

5、聚集檢測

將物理或抽象對(duì)象的集合分組成為由類似的對(duì)象組成的多個(gè)類的過程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對(duì)象的集合，這些對(duì)象與同一個(gè)簇中的對(duì)象彼此相似，與其它簇中的對(duì)象相異。相異度是根據(jù)描述對(duì)象的屬眭值來計(jì)算的，距離是經(jīng)常采用的度量方式。

6、連接分析

連接分析，Link analysis，它的基本理論是圖論。圖論的思想是尋找一個(gè)可以得出好結(jié)果但不是完美結(jié)果的算法，而不是去尋找完美的解的算法。連接分析就是運(yùn)用了這樣的思想：不完美的結(jié)果如果是可行的，那么這樣的分析就是一個(gè)好的分析。利用連接分析，可以從一些用戶的行為中分析出一些模式;同時(shí)將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。

7、決策樹

決策樹提供了一種展示類似在什么條件下會(huì)得到什么值這類規(guī)則的方法。

8、神經(jīng)網(wǎng)絡(luò)

在結(jié)構(gòu)上，可以把一個(gè)神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱含層。輸入層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)—個(gè)個(gè)的預(yù)測變量。輸出層的節(jié)點(diǎn)對(duì)應(yīng)目標(biāo)變量，可有多個(gè)。在輸入層和輸出層之間是隱含層(對(duì)神經(jīng)網(wǎng)絡(luò)使用者來說不可見)，隱含層的層數(shù)和每層節(jié)點(diǎn)的個(gè)數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。

除了輸入層的節(jié)點(diǎn)，神經(jīng)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都與很多它前面的節(jié)點(diǎn)(稱為此節(jié)點(diǎn)的輸入節(jié)點(diǎn))連接在一起，每個(gè)連接對(duì)應(yīng)一個(gè)權(quán)重Wxy，此節(jié)點(diǎn)的值就是通過它所有輸入節(jié)點(diǎn)的值與對(duì)應(yīng)連接權(quán)重乘積的和作為—個(gè)函數(shù)的輸入而得到，我們把這個(gè)函數(shù)稱為活動(dòng)函數(shù)或擠壓函數(shù)。

9、粗糙集

粗糙集理論基于給定訓(xùn)練數(shù)據(jù)內(nèi)部的等價(jià)類的建立。形成等價(jià)類的所有數(shù)據(jù)樣本是不加區(qū)分的，即對(duì)于描述數(shù)據(jù)的屬性，這些樣本是等價(jià)的。給定現(xiàn)實(shí)世界數(shù)據(jù)，通常有些類不能被可用的屬性區(qū)分。粗糙集就是用來近似或粗略地定義這種類。

10、模糊集

模糊集理論將模糊邏輯引入數(shù)據(jù)挖掘分類系統(tǒng)，允許定義“模糊”域值或邊界。模糊邏輯使用0.0和1.0之間的真值表示一個(gè)特定的值是一個(gè)給定成員的程度，而不是用類或集合的精確截?cái)唷Ｄ：壿嬏峁┝嗽诟叱橄髮犹幚淼谋憷?/p>

11、回歸分析

回歸分析分為線性回歸、多元回歸和非線性同歸。在線性回歸中，數(shù)據(jù)用直線建模，多元回歸是線性回歸的擴(kuò)展，涉及多個(gè)預(yù)測變量。非線性回歸是在基本線性模型上添加多項(xiàng)式項(xiàng)形成非線性同門模型。

12、差別分析

差別分析的目的是試圖發(fā)現(xiàn)數(shù)據(jù)中的異常情況，如噪音數(shù)據(jù)，欺詐數(shù)據(jù)等異常數(shù)據(jù)，從而獲得有用信息。

13、概念描述

概念描述就是對(duì)某類對(duì)象的內(nèi)涵進(jìn)行描述，并概括這類對(duì)象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述，前者描述某類對(duì)象的共同特征，后者描述不同類對(duì)象之間的區(qū)別，生成一個(gè)類的特征性描述只涉及該類對(duì)象中所有對(duì)象的共性。

由于人們急切需要將存在于數(shù)據(jù)庫和其他信息庫中的數(shù)據(jù)轉(zhuǎn)化為有用的知識(shí)，因而數(shù)據(jù)挖掘被認(rèn)為是一門新興的、非常重要的、具有廣闊應(yīng)用前景和富有挑戰(zhàn)性的研究領(lǐng)域，并應(yīng)起了眾多學(xué)科(如數(shù)據(jù)庫、人工智能、統(tǒng)計(jì)學(xué)、數(shù)據(jù)倉庫、在線分析處理、專家系統(tǒng)、數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)、信息檢索、神經(jīng)網(wǎng)絡(luò)、模式識(shí)別、高性能計(jì)算機(jī)等)研究者的廣泛注意。

作為一門新興的學(xué)科，數(shù)據(jù)挖掘是由上述學(xué)科相互交叉、相互融合而形成的。隨著數(shù)據(jù)挖掘的進(jìn)一步發(fā)展，它必然會(huì)帶給用戶更大的利益。

在不久的將來，多智時(shí)代一定會(huì)徹底走入我們的生活，有興趣入行未來前沿產(chǎn)業(yè)的朋友，可以收藏多智時(shí)代，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來。

關(guān)于Smartbi Mining企業(yè)數(shù)據(jù)挖掘平臺(tái)

思邁特企業(yè)數(shù)據(jù)挖掘平臺(tái)（Smartbi Mining）是用于預(yù)測性分析的獨(dú)立產(chǎn)品，旨在為企業(yè)所做的決策提供預(yù)測性智能。該平臺(tái)不僅可為用戶提供直觀的流式建模、拖拽式操作和流程化、可視化的建模界面，還提供了大量的數(shù)據(jù)預(yù)處理操作。此外，它內(nèi)置了多種實(shí)用的、經(jīng)典的機(jī)器學(xué)習(xí)算法，這些算法配置簡單降低了機(jī)器學(xué)習(xí)的使用門檻，大大節(jié)省了企業(yè)成本，并支持標(biāo)準(zhǔn)的PMML模型輸出，可以將模型發(fā)送到Smartbi統(tǒng)一平臺(tái)，與商業(yè)智能平臺(tái)實(shí)現(xiàn)了完美整合。

Smartbi Mining數(shù)據(jù)挖掘平臺(tái)支持多種高效實(shí)用的機(jī)器學(xué)習(xí)算法，包含了分類、回歸、聚類、預(yù)測、關(guān)聯(lián)，5大類機(jī)器學(xué)習(xí)的成熟算法。其中包含了多種可訓(xùn)練的模型：邏輯回歸、決策樹、隨機(jī)森林、樸素貝葉斯、支持向量機(jī)、線性回歸、K均值、DBSCAN、高斯混合模型。除提供主要算法和建模功能外，Smartbi Mining數(shù)據(jù)挖掘平臺(tái)還提供了必不可少的數(shù)據(jù)預(yù)處理功能，包括字段拆分、行過濾與映射、列選擇、隨機(jī)采樣、過濾空值、合并列、合并行、JOIN、行選擇、去除重復(fù)值、排序、增加序列號(hào)、增加計(jì)算字段等。

(文章內(nèi)容來源與網(wǎng)絡(luò)，如有疑侵權(quán)聯(lián)系刪除！)

總結(jié)

以上是生活随笔為你收集整理的k均值例子 数据挖掘_数据挖掘的技术有很多种，常用的数据挖掘技术就这13种...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。