今天筆者想對pandas中的行進行去重操作，找了好久，才找到相關的函數

先看一個小例子

from pandas import Series, DataFrame

data = DataFrame({'k': [1, 1, 2, 2]})

print data

IsDuplicated = data.duplicated()

print IsDuplicated

print type(IsDuplicated)

data = data.drop_duplicates()

print data

執行結果是：

k

0 1

1 1

2 2

3 20 False

1 True

2 False

3 Truek

0 1

2 2

DataFrame的duplicated方法返回一個布爾型Series,表示各行是否重復行。

而 drop_duplicates方法，它用于返回一個移除了重復行的DataFrame

這兩個方法會判斷全部列，你也可以指定部分列進行重復項判段。

drop_duplicates根據數據的不同情況及處理數據的不同需求，通常會分為兩種情況，一種是去除完全重復的行數據，另一種是去除某幾列重復的行數據，就這兩種情況可用下面的代碼進行處理。

1. 去除完全重復的行數據

data.drop_duplicates(inplace=True)

2. 去除某幾列重復的行數據

data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)

subset： 列名，可選，默認為None

keep： {‘first', ‘last', False}, 默認值 ‘first'

first： 保留第一次出現的重復行，刪除后面的重復行。

last： 刪除重復項，除了最后一次出現。

False： 刪除所有重復項。

inplace：布爾值，默認為False，是否直接在原數據上刪除重復項或刪除重復項后返回副本。（inplace=True表示直接在原來的DataFrame上刪除重復項，而默認值False表示生成一個副本。）

例如，希望對名字為k2的列進行去重，

data.drop_duplicates(['k2'])

到此這篇關于python pandas dataframe 去重函數的具體使用的文章就介紹到這了,更多相關python pandas dataframe 去重函數內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！

總結

以上是生活随笔為你收集整理的python数据去重的函数_python pandas dataframe 去重函数的具体使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。