獲取數(shù)據(jù)后，對(duì)數(shù)據(jù)的清洗工作必不可少，常用的數(shù)據(jù)清洗方法主要有缺失值填充、數(shù)值替換、數(shù)據(jù)類(lèi)型轉(zhuǎn)換、數(shù)據(jù)分列、重復(fù)值處理等，清洗的數(shù)據(jù)結(jié)果直接影響最后數(shù)據(jù)分析的結(jié)果，一個(gè)成熟的數(shù)據(jù)分析師，在日常工作中絕大多數(shù)時(shí)間都在數(shù)據(jù)清洗，下面一起學(xué)習(xí)。

缺失值填充

缺失值處理，可以使用均值、線(xiàn)性插值等方法進(jìn)行填充，這里使用均值來(lái)作為填充值填充，首先計(jì)算分?jǐn)?shù)的平均值，然后篩選分?jǐn)?shù)為空的行，使用UPDATE函數(shù)將空值填充為平均值。

#計(jì)算score列的均值 SELECT AVG(score) AS avg_score FROM?score; #使用均值填充空值 UPDATE score SET score=74 WHERE score is null; select * from score;

清理空格

清理字符中的空格，使用的是TRIM函數(shù)，并且用UPDATE函數(shù)更新表格。

#清理字符中的空格 UPDATE course SET Cname=TRIM(Cname); select * from course;

數(shù)值替換

REPLACE函數(shù)可以對(duì)字符進(jìn)行替換，類(lèi)似于EXCEL的替換功能。

#修改和替換 UPDATE course SET Cname=REPLACE(Cname,'語(yǔ)文','語(yǔ)文-A'); select * from course;

大小寫(xiě)轉(zhuǎn)換

小寫(xiě)轉(zhuǎn)換可以用LOWER函數(shù)，大寫(xiě)轉(zhuǎn)換可以用UPER函數(shù)，這里使用LOWER函數(shù)將大寫(xiě)A轉(zhuǎn)換為小寫(xiě)a。

#大小寫(xiě)轉(zhuǎn)換 UPDATE course SET Cname=LOWER(Cname); select * from course;

數(shù)據(jù)類(lèi)型轉(zhuǎn)換

數(shù)據(jù)類(lèi)型轉(zhuǎn)換用CONVERT函數(shù)，括號(hào)中第一個(gè)寫(xiě)要轉(zhuǎn)換類(lèi)型的值，第二個(gè)寫(xiě)要轉(zhuǎn)換成的數(shù)據(jù)類(lèi)型，此處將出生日期轉(zhuǎn)換為日期類(lèi)型。

SELECT Sname,CONVERT(Sage,date) as '出生日期' FROM student;

mySQL常用的數(shù)據(jù)類(lèi)型如下：

數(shù)據(jù)分列

數(shù)據(jù)分列與EXCEL的功能相似，這里使用到的函數(shù)是SUBSTRING_INDEX，這里將"語(yǔ)文-A"，分列成科目?語(yǔ)文?與評(píng)級(jí)為?A?兩部分。

#數(shù)據(jù)分列 SELECT SUBSTRING_INDEX(cname,'-',1) AS '科目', SUBSTRING_INDEX(cname,'-',-1) AS '評(píng)級(jí)' FROM course;

分列后的數(shù)據(jù)可以通過(guò)更新增加在原數(shù)據(jù)表中，下面是具體的代碼。

#數(shù)據(jù)分列（改表），添加兩個(gè)空字段 ALTER TABLE course ADD?(col1?VARCHAR(255),col2?VARCHAR(255)); SELECT * FROM course;

#更新分列后的字段內(nèi)容 UPDATE course SET col1 = SUBSTRING_INDEX(cname,'-',1), col2?=SUBSTRING_INDEX(cname,'-',-1); SELECT * FROM course;

重復(fù)值處理

重復(fù)值的處理使用到DISTINCT函數(shù)，也可以使用數(shù)據(jù)分組功能，實(shí)現(xiàn)將某個(gè)字段去除重復(fù)值的功能。

#重復(fù)值 SELECT DISTINCT CId,Cname FROM?course;

點(diǎn)分享

點(diǎn)收藏

點(diǎn)點(diǎn)贊

點(diǎn)在看

總結(jié)

以上是生活随笔為你收集整理的利用SQL对数据进行清洗处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。