系統(tǒng)的對(duì)人工智能的淺顯認(rèn)識(shí)

數(shù)據(jù)表示 -> 數(shù)據(jù)清洗 -> 數(shù)據(jù)統(tǒng)計(jì) -> 數(shù)據(jù)可視化 -> 數(shù)據(jù)挖掘 -> 人工智能

數(shù)據(jù)表示：采用合適方式用程序表達(dá)數(shù)據(jù)
數(shù)據(jù)清洗：數(shù)據(jù)歸一化、數(shù)據(jù)轉(zhuǎn)換、異常處理
數(shù)據(jù)統(tǒng)計(jì)：數(shù)據(jù)的概要理解，數(shù)量、分布、中位數(shù)等
數(shù)據(jù)可視化：直觀展示數(shù)據(jù)內(nèi)涵的方式
數(shù)據(jù)挖掘：從數(shù)據(jù)分析獲得知識(shí)，產(chǎn)生數(shù)據(jù)外的價(jià)值
人工智能：數(shù)據(jù)/語(yǔ)言/圖像/視覺(jué)/等方面深度分析與決策

數(shù)據(jù)處理

• Numpy
  表達(dá)N維數(shù)組的最基礎(chǔ)庫(kù)
  python接口使用，C語(yǔ)言實(shí)現(xiàn)，計(jì)算速度優(yōu)異
  python數(shù)據(jù)分析及科學(xué)計(jì)算的基礎(chǔ)庫(kù)，支撐Pandas等
  提供直接的矩陣運(yùn)算、廣播函數(shù)、線(xiàn)性代數(shù)等功能

  比如進(jìn)行兩個(gè)一維數(shù)組的運(yùn)算
  使用基礎(chǔ)語(yǔ)法，我們要使用for循環(huán)

def pySum():a = [0,1,2,3,4]b = [9,8,7,6,5]c = []for i in range (len(a)):c.append(a[i]**2 + b[i]**3)return c print(pySum())

使用Numpy，Numpy的最基礎(chǔ)單元是一個(gè)數(shù)組，數(shù)組相當(dāng)于一個(gè)變量，我們就可以用數(shù)組變量直接的操作符進(jìn)行運(yùn)算

將N維數(shù)組看成簡(jiǎn)單的數(shù)字運(yùn)算

import Numpy as np def npSum():a = np.array([0,1,2,3,4])b = np.array([9,8,7,6,5])c = a**2 + b**3return c print(npSum())

• Pandas
  Python數(shù)據(jù)分析高層次應(yīng)用庫(kù)
  提供了簡(jiǎn)單易學(xué)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具
  理解數(shù)據(jù)類(lèi)型與索引的關(guān)系，操作索引即操作數(shù)據(jù)
  Python最主要的數(shù)據(jù)分析功能庫(kù)，基于Numpy開(kāi)發(fā)

  Pandas庫(kù)核心提供了兩個(gè)數(shù)據(jù)結(jié)構(gòu)

  Series = 索引 + 一維數(shù)據(jù)
  通過(guò)索引來(lái)與一維數(shù)據(jù)進(jìn)行關(guān)聯(lián)，進(jìn)而通過(guò)索引來(lái)操作數(shù)據(jù)的一種數(shù)據(jù)方法

  DataFrame = 行列索引 + 二維數(shù)據(jù)
  使用行列的二維索引來(lái)操作二維數(shù)據(jù)的方法

  Pandas庫(kù)通過(guò)擴(kuò)展了對(duì)一維數(shù)據(jù)和二維數(shù)據(jù)的一種表示，因而能夠形成更高層次對(duì)數(shù)據(jù)的操作，簡(jiǎn)化數(shù)據(jù)分析的運(yùn)行

• Scipy
  數(shù)學(xué)、科學(xué)和工程計(jì)算功能庫(kù)
  提供了一批數(shù)學(xué)算法及工程數(shù)據(jù)運(yùn)算功能
  類(lèi)似Matlab，可用于如傅里葉變換、信號(hào)處理等應(yīng)用
  Python最主要的科學(xué)計(jì)算功能庫(kù)，基于Numpy開(kāi)發(fā)

數(shù)據(jù)可視化

• Matplotlib
  http://matplotlib.org
  高質(zhì)量的二維數(shù)據(jù)可視化功能庫(kù)
  提供了超過(guò)100種數(shù)據(jù)可視化展示效果
  通過(guò)matplotlib.pyplot子庫(kù)調(diào)用各可視化效果，相當(dāng)于各個(gè)子庫(kù)的快捷方式
  Python最主要的數(shù)據(jù)可視化功能庫(kù)，基于Numpy開(kāi)發(fā)

• Seaborn
  http://seaborn.pydata.org
  統(tǒng)計(jì)類(lèi)數(shù)據(jù)可視化功能庫(kù)
  提供了一批高層次的統(tǒng)計(jì)類(lèi)數(shù)據(jù)可視化展示效果
  主要展示數(shù)據(jù)間分布、分類(lèi)和線(xiàn)性關(guān)系等內(nèi)容
  基于Matplotlib開(kāi)發(fā)，支持Numpy和Pandas

• Mayavi
  http://docs.enthought.com/mayavi/mayavi/
  三維科學(xué)數(shù)據(jù)可視化功能庫(kù)
  提供了一批簡(jiǎn)單易用的3D科學(xué)計(jì)算數(shù)據(jù)可視化展示效果
  目前版本Mayavi2，三維可視化最主要的第三方庫(kù)
  支持Numpy、TVTK、Traits、Envisage等第三方庫(kù)

文本處理

• PyPDF2
  http://mstamy2.github.io/PyPDF2
  用來(lái)處理pdf文件的工具集
  提供了一批處理PDF文件的計(jì)算功能
  支持獲取信息、分隔/整合文件、加密解密等
  完全Python語(yǔ)言實(shí)現(xiàn)，不需要額外依賴(lài)，功能穩(wěn)定

  比如我們將兩個(gè)pdf文件整合輸出一個(gè)pdf文件

from PyPDF2 import PdfFileReader, PdfFileMerger merger = PdfFileMerger() input1 = open("document1.pdf","rb") input2 = open("document2.pdf","rb") merger.append(fileobj = input1, pages = (0,3)) merger.merge(position = 2, fileobj = input2, pages = (0,1)) output = open("document-output.pdf","rb") merger.write(output)

• NLTK
  http://www.nltk.org
  自然語(yǔ)言文本處理第三方庫(kù)
  提供了一批簡(jiǎn)單易用的自然語(yǔ)言文本處理功能
  支持語(yǔ)言文本分類(lèi)、標(biāo)記、語(yǔ)法句法、語(yǔ)義分析等
  最優(yōu)秀的Pyhon自然語(yǔ)言處理庫(kù)

將一個(gè)自然語(yǔ)言文本變成一個(gè)樹(shù)型結(jié)構(gòu)，并且分析其中各個(gè)部分邏輯的之間關(guān)系

from nltk.corpus import treebank t = treebank.parsed_sents('wsj_0001.mrg')[0] t.draw()

機(jī)器學(xué)習(xí)

• Scikit-learn
  http://scikit-learn.org/
  機(jī)器學(xué)習(xí)方法工具集
  提供一批統(tǒng)一化的機(jī)器學(xué)習(xí)方法功能接口
  提供聚類(lèi)、分類(lèi)、回歸、強(qiáng)化學(xué)習(xí)等計(jì)算功能
  機(jī)器學(xué)習(xí)最基本且最優(yōu)秀的Python第三方庫(kù)
• TensorFlow
  http://www.tensorflow.org/
  AlphaGo背后的機(jī)器學(xué)習(xí)計(jì)算框架
  谷歌公司推動(dòng)的開(kāi)源機(jī)器學(xué)習(xí)框架
  將數(shù)據(jù)流圖作為基礎(chǔ)，圖節(jié)點(diǎn)代表運(yùn)算，邊代表張量

代碼示例

import tensorflow as tf init = tf.global_variables_initializer() sess = tf.Session() sess.run(init) res = sess.run(result) print('result:',res')

• MXNet
  http://mxnet.incubator.apache.org/
  基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)計(jì)算框架
  提供可擴(kuò)展的神經(jīng)網(wǎng)絡(luò)及深度學(xué)習(xí)計(jì)算功能
  可用于自動(dòng)駕駛、機(jī)器翻譯、語(yǔ)音識(shí)別等眾多領(lǐng)域

總結(jié)

以上是生活随笔為你收集整理的从数据处理到人工智能的一批计算生态的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。