Python笔记 | 数据筛选
????????無論是在數據分析還是數據挖掘的時候,數據篩選總會涉及到。這里我總結了一下python中列表,字典,數據框中一些常用的數據篩選的方法。
1.列表
????????案例一:從一個含有數字0-9的列表中篩選出偶數(奇數):
????????2.列表推導式(常用)
num=[i for i in range(10) if i%2==0]print(num)????????二者輸出結果都是[0,2,4,6,8],相比之下列表推導式要簡潔的多
2.字典
????????案例二:從一個包含學生姓名和成績的字典中,篩選出成績大于60的學生
????????首先,我們構造一個字典inf:
????????輸出結果為:{‘Bob’: 80, ‘Jim’: 55, ‘Gin’: 75, ‘Angel’: 95}
????????以下,我們可以通過字典推導式篩選出學生成績(大于60):
dict1={key:value for key,value in inf.items() if value>60}print(dict1)????????輸出結果:{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}
????????如果你只是想要返回成績大于60的學生名字或者分數的話,可以將dict1中的key:value部分改為key或者value即可.當然上述步驟是先建立一個字典,然后再從字典里篩選出符合特定條件的值。可不可以一步完成呢?
????????當然闊以~
????????輸出結果也是{‘Bob’: 80, ‘Gin’: 75, ‘Angel’: 95}.不過,這里需要注意的是:如果列表name 和列表grade長度不一致的話,后面for循環中的len函數應該去長度較短的列表!
3.數據框
????????案例三:利用pandas從招聘信息表中篩選出特定條件的信息
????????首先,導入數據
import pandas as pddf=pd.read_excel('job_information.xls',encoding='utf-8')df????????招聘信息表如下:
A. 篩選出工作經驗(exp)為4年的招聘信息
df[df['exp'].isin([4])]????????通用篩選方式:data[data[‘篩選列’].isin([num])]
????????需要注意的是:isin函數里篩選的num必須用[]括起來!可以是一個,也可以是多個。但只能對特定的數字進行篩選,最后篩選的結果如下:
B. 篩選出具體給明的工資(salary)(過濾掉薪資面議)
df[df['salary'].str.contains('K')]????????通用篩選方式:data[data[‘篩選列’].str.contains(‘特定字符’)]
????????需要注意的是:只能對特定的字符串進行篩選,最后篩選結果如下:
C.篩選出只含有K的工資(過濾14薪等以及薪資面議)
df[~df['salary'].str.contains('薪')]因為這里需要過濾的字符都出現了"薪",我們依舊可以使用contains函數。需要注意的是"~“代表"非”(在對于isin函數也有用!),即排除salary中包含"薪" 這個字符的所有數據。最后,篩選結果如下:
D.篩選出含有K的工資(包括14薪等)
這里由于展示的數據樣本少,該方法最終呈現的效果是和方法B是一樣的。使用的方法是:apply函數+正則
def select(x):pat='[0-9]?[0-9]K-[0-9]?[0-9]K'rst=re.search(pat,x)if rst:return rst.group(0)return 0 df['salary'].apply(select)需要注意的是:在使用group函數的時候,需要先判斷是否可以先查到對應的值。否則會報錯(NoneType object has no attribute ‘group’ )。最后篩選的結果如下:
此外,還有一些篩選數據的方法如pivot_table(數據透視表),filter函數+lambda函數等,這就需要大家在實際應用的時候靈活選擇。
以上就是本次分享的全部內容~
總結
以上是生活随笔為你收集整理的Python笔记 | 数据筛选的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 翻转棋c语言算法,有没有人懂黑白棋(翻转
- 下一篇: Python爬虫之获取淘宝商品数据