MySQL大數(shù)據(jù)量表中刪除重復(fù)記錄

最近工作中需要抓取大量新聞，抓取的數(shù)據(jù)中由于一些原因存在一些重復(fù)數(shù)據(jù)，而整個數(shù)據(jù)表的記錄數(shù)接近10萬條，大小接近1個G，又在我自己的渣渣本本上，查詢速度十分不理想，想要完成一個最基本的查詢都很困難。在看了一些相關(guān)資料后終于找到解決方法，分享給大家參考。

首先說一下新聞表的大概結(jié)構(gòu)，主要是包含id、title、content等字段，其中title字段使用較為頻繁，并且需要用該字段判斷重復(fù)記錄，所以我們先給title字段添加索引。添加索引后我們可以使用以下語句來很快地查詢出哪些title是重復(fù)的：

SELECT `title` FROM `info` GROUP BY `title` HAVING COUNT( `title` ) >1

但如果要一次查出重復(fù)字段的id的話就需要用到子查詢了，可是子查詢的效率很低，明顯是不合適的，所以我們可以先建一個臨時表：

CREATE TABLE `tmptable` AS (SELECT `title` FROM `info` GROUP BY `title` HAVING COUNT( `title` ) >1);

有了重復(fù)字段的標(biāo)題接下來就可以查出重復(fù)字段的id了，我這里為了方便又建了一個臨時表：

CREATE TABLE `idtable` AS ( SELECT min(a.`id`) AS id, a.`title` FROM `info` a, `tmptable` t WHERE a.`title` = t.`title` GROUP BY a.`title`);

這樣刪除重復(fù)字段就很容易了：

DELETE a FROM `info` a,`idtable` t WHERE a.`id` = t.`id`;

不過我這篇文章中的方法只適用于記錄只重復(fù)了一次的情況，不過稍微改改就可以刪除重復(fù)次數(shù)較多的記錄.

來源：https://blog.skyx.in/archives/135/

我自己改成這樣：

CREATE TABLE `idtable` AS (SELECT `title`,min(id) AS id FROM `info` GROUP BY `title` HAVING COUNT( `title` ) >1)

備注：在刪除重復(fù)多條的情況下，盡量避免全表搜索，比如!=或者order by等等。

總結(jié)

以上是生活随笔為你收集整理的mysql scrapy 重复数据_MySQL大数据量表中删除重复记录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。