當前位置：首頁 > 编程语言 > python >内容正文

python

python爬取人口数据_爬取人口数据

發布時間：2023/12/14 python 23 豆豆

生活随笔收集整理的這篇文章主要介紹了 python爬取人口数据_爬取人口数据小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、主題式網絡爬蟲設計方案(15分)

1.主題式網絡爬蟲名稱：爬取人口數據及數據可視化

2.主題式網絡爬蟲爬取的內容與數據特征分析：爬取國家統計局人口數據

3.主題式網絡爬蟲設計方案概述(包括實現思路與技術難點)：首先找到爬取頁面的源代碼，找到所需要爬取的數據在源代碼中的位置，接下來進行數據爬取，并將數據持久化，接下來對數據進行清洗處理，并進行數據分析和可視化

首先是頁面如下

按f12

找到人口數據

1.數據爬取與采集(20)

import requests

import time

import json

import matplotlib.pyplot as plt

import pandas as pd

#用來獲得時間戳

def gettime():

return int(round(time.time()*1000))

if __name__=='__main__':

"一，請求數據"

#用來定義頭部

headers={}

#用來傳遞參數

keyvalue={}

#目標網址

url='http://data.stats.gov.cn/easyquery.htm'

#頭部填充

headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) '\

'AppleWebKit/537.36 (KHTML, like Gecko)'\

'Chrome/70.0.3538.102 Safari/537.36'

#參數填充

keyvalue['m'] = 'QueryData'

keyvalue['dbcode'] = 'hgnd'

keyvalue['rowcode'] = 'zb'

keyvalue['colcode'] = 'sj'

keyvalue['wds'] = '[]'

keyvalue['dfwds'] = '[{"wdcode":"zb","valuecode":"A0301"}]'

keyvalue['k1'] = str(gettime())

# 發出請求，使用get方法，這里使用我們自定義的頭部和參數

r = requests.get(url, headers=headers, params=keyvalue)

"二，解析數據"

year=[]

population=[]

data=json.loads(r.text)

data_one = data['returndata']['datanodes']

for value in data_one:

if('A030101_sj' in value['code']):

year.append(value['code'][-4:])

population.append(int(value['data']['strdata']))

print(year)

print(population)

2.對數據進行清洗和處理(10)

#檢查重復

print(df.duplicated())

4.數據分析與可視化(例如：數據柱形圖、直方圖、散點圖、盒圖、分布圖)(15分)

plt.figure()

plt.plot()

plt.rcParams['font.sans-serif']=['SimHei']

plt.rcParams['axes.unicode_minus'] = False

plt.bar(year,population)

plt.xlabel('年份')

plt.ylabel('萬人')

plt.title('年末總人口')

plt.show()

5.根據數據之間的關系，分析兩個變量之間的相關系數，畫出散點圖，并建立變量之間的回歸方程(一元或多元)(10分)。

6.數據持久化(5分)

將爬取的數據保存在111.csv中

df = pd.DataFrame({'year' : year, 'population' : population})

df.to_csv("C:/Users/lenovo/111.csv", index=False, sep=',')

7.將以上各部分的代碼匯總，附上完整程序代碼