豆瓣電影數據

利用anaconda的jupyter notebook 編寫

from urllib.request import urlopen from urllib.error import HTTPError from bs4 import BeautifulSoup import re import xlwt import csv import pandas as pd import codecs

獲取豆瓣電影的url
正則表達式： pat = ‘“id”:"(.*?)"’

#獲取豆瓣電影的url def get_urlid(movie_genre):movies_url=[]for i in range(15):url="http://movie.douban.com/j/search_subjects?type=movie&tag="+movie_genre+"&page_limit=20&page_start="+str(i*20)pat = '"id":"(.*?)"'doubandianying = urlopen(url).read().decode("utf-8","ignore")links = re.compile(pat).findall(doubandianying)for link in links:create_url = "https://movie.douban.com/subject/"+linkmovies_url.append(create_url)return movies_url

匹配電影標題
正則表達： pat = ‘</span property=“v:itemreviewed”>(.?)<//span>’
pat_yeas = '</span class=“year”>(.?)<//span>’
刪掉span前的一個/，

#匹配電影標題 def get_title(html):pat = '<span property="v:itemreviewed">(.*?)</span>'pat_yeas = '<span class="year">(.*?)</span>'title=re.compile(pat).findall(html)yeas= re.compile(pat_yeas).findall(html)return title,yeas

匹配導演
正則表達式： pat = ‘<a.?rel=“v:directedBy”>(.?)< /a>’

#匹配導演 def get_director(html):pat = '<a.*?rel="v:directedBy">(.*?)</a>'director = re.compile(pat).findall(html)return director

匹配編劇
正則式：pat = ‘<a\shref="/celebrity/\d+/">(.?)< /a>’

#匹配編劇 def get_Screenwriter(html):pat = '<a\s*href="/celebrity/\d+/">(.*?)</a>'screenwriter = re.compile(pat).findall(html)return screenwriter

匹配主演
正則式： pat = ‘<a.?rel=“v:starring”>(.?)< /a>’

#匹配主演 def get_Tostar(html):pat = '<a.*?rel="v:starring">(.*?)</a>'tostar = re.compile(pat).findall(html)return tostar

匹配類型
正則式：pat = ‘< span property=“v:genre”>(.*?)< /span>’

#匹配類型 def get_type(html):pat = '<span property="v:genre">(.*?)</span>'movie_type = re.compile(pat).findall(html)return movie_type

匹配制片地區
正則式：pat = ‘< span\sclass=“pl”>制片國家/地區:\s(.?)\s< br/>’

#匹配制片地區 def get_Producer_area(html):pat = '<span\s*class="pl">制片國家/地區:</span>\s*(.*?)\s*<br/>'area = re.compile(pat).findall(html)return area

匹配上映時間
正則式： pat = ‘< span property=“v:initialReleaseDate” content=".?">(.?) .*?< /span>’

#匹配上映時間 def get_time(html):pat = '<span property="v:initialReleaseDate" content=".*?">(.*?) .*?</span>'times = re.compile(pat).findall(html)return times

匹配片長
正則式：pat = ‘< span property=“v:runtime” content=.?>(.?)< /span>’

#匹配片長 def get_Film_length(html):pat = '<span property="v:runtime" content=.*?>(.*?)</span>'film_length = re.compile(pat).findall(html)return film_length

匹配語言
正則式： pat = ‘< span\sclass=“pl”>語言:< /span>\s(.*?)< br/>’

#匹配語言 def get_language(html):pat = '<span\s*class="pl">語言:</span>\s*(.*?)<br/>'language = re.compile(pat).findall(html)return language

匹配豆瓣評分
正則式： pat = ‘< strong class=“ll rating_num” property=“v:average”>(.*?)</ strong>’

# 匹配豆瓣評分 def get_score(html):pat = '<strong class="ll rating_num" property="v:average">(.*?)</strong>'score = re.compile(pat).findall(html)return score

劇情簡介

#劇情簡介 def get_content(html):pat = '<strong class="ll rating_num" property="v:average">(.*?)</strong>'content = re.compile(pat).findall(html)return content #電影名，時間，評分，導演，編劇，主演，分類，上映地區，上映時間，語言，時長， def output_datas(html):datas=[]title,year = get_title(html=html)score = get_score(html=html)director = get_director(html=html)screenwriter = get_Screenwriter(html=html)tostar = get_Tostar(html=html)movie_type = get_type(html=html)area = get_Producer_area(html=html)#times = get_time(html=html)film_length = get_Film_length(html=html)language = get_language(html=html)datas.extend(title)datas.extend(year)datas.extend(score)datas.append(director)datas.append(screenwriter)datas.append(tostar)datas.append(movie_type)datas.extend(area)datas.extend(language)#datas.append(times)datas.extend(film_length) return datas #輸出.csv def output_csv(datas):with open('data3.csv','a',encoding='utf-8-sig') as csvfile: writer = csv.writer(csvfile)writer.writerow(datas)

運行

movies_url = get_urlid("%E7%88%B1%E6%83%85") get_field(movies_url)

展示圖：

總結

以上是生活随笔為你收集整理的豆瓣电影数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。