Scrapy爬取QQ音乐、评论、下载、歌曲、歌词
生活随笔
收集整理的這篇文章主要介紹了
Scrapy爬取QQ音乐、评论、下载、歌曲、歌词
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
文章目錄
- Scrapy爬取QQ音樂、評論、下載、歌曲、歌詞
- 爬取分析
- 1、分析頁面的歌手信息
- 2、編寫代碼
- Item.py中編寫爬取的信息
- setting.py中的配置信息
- Spider下的music.py編寫代碼
- 3、分析歌單列表
- 在music.py中繼續(xù)編程
- 4、分析歌詞請求
- 爬取歌詞代碼的編寫
- 歌詞信息的清洗
- 5、分析評論
- 6、下載歌曲的url
- 7、將數據保存到Mongo
- 7、隨機User-Agent
- 8、在setting.py中開啟中間件的使用
- 9、運行程序
- 總結
Scrapy爬取QQ音樂、評論、下載、歌曲、歌詞
之前寫過一篇詳細的Scrapy爬取豆瓣電影的教程，這次就不寫這么詳細了，QQ音樂下載解密的時候用了下以前的文章教程。
Scrapy爬取豆瓣電影
QQ付費音樂爬取
QQ音樂無損下載
目前Python3.7和Scrapy有沖突，建議用3.6，使用的模塊如下。
python3.6.5 Scrapy--1.5.1 pymongo--3.7.1爬取分析
爬取思路：我是從歌手分類開始爬取，然后爬取每個人下面的歌曲，然后依次爬取歌詞、評論、下載鏈接等。
1、分析頁面的歌手信息
找到url后我們接著來分析url里面的參數信息。
https://u.y.qq.com/cgi-bin/musicu.fcg?callback=getUCGI43917153213009863&g_tk=5381&jsonpCallback=getUCGI43917153213009863&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq&needNewCode=0&data=%7B%22comm%22%3A%7B%22ct%22%3A24%2C%22cv%22%3A10000%7D%2C%22singerList%22%3A%7B%22module%22%3A%22Music.SingerListServer%22%2C%22method%22%3A%22get_singer_list%22%2C%22param%22%3A%7B%22area%22%3A-100%2C%22sex%22%3A-100%2C%22genre%22%3A-100%2C%22index%22%3A-100%2C%22sin%22%3A0%2C%22cur_page%22%3A1%7D%7D%7D
在分析后發(fā)現有關的參數只要data里面的就行。
sin：默認為0，當第二頁的時候就是80
curl_page：當前的頁數
2、編寫代碼
首先創(chuàng)建Scrapy項目scrapy startproject qq_music，
生成Spider文件scrapy genspider music y.qq.com。
Item.py中編寫爬取的信息
# -*- coding: utf-8 -*-# Define here the models for your scraped items # # See documentation in: # https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapy from scrapy import Fieldclass QqMusicItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()# 數據庫表名collection = table = 'singer'id = Field()# 歌手名字singer_name = Field()# 歌曲名song_name = Field()# 歌曲地址song_url = Field()# 歌詞lrc = Field()# 評論comment = Field()setting.py中的配置信息
MAX_PAGE = 3 # 爬取幾頁 SONGER_NUM = 1 # 爬取歌手幾首歌，按歌手歌曲的火熱程度。 MONGO_URL = '127.0.0.1' MONGO_DB = 'music' # mongo數據庫Spider下的music.py編寫代碼
# -*- coding: utf-8 -*- import scrapy import json from qq_music.items import QqMusicItem from scrapy import Requestclass MusicSpider(scrapy.Spider):name = 'music'allowed_domains = ['y.qq.com']start_urls = ['https://u.y.qq.com/cgi-bin/musicu.fcg?data=%7B%22singerList%22%3A%7B%22module%22%3A%22Music.SingerListServer' \'%22%2C%22method%22%3A%22get_singer_list%22%2C%22param%22%3A%7B%22area%22%3A-100%2C%22sex%22%3A-100%2C%22genr' \'e%22%3A-100%2C%22index%22%3A-100%2C%22sin%22%3A{num}%2C%22cur_page%22%3A{id}%7D%7D%7D'] # 其實爬取地址song_down = 'https://c.y.qq.com/base/fcgi-bin/fcg_music_express_mobile3.fcg?&jsonpCallback=MusicJsonCallback&ci' \'d=205361747&songmid={songmid}&filename=C400{songmid}.m4a&guid=9082027038' # 歌曲下載地址song_url = 'https://c.y.qq.com/v8/fcg-bin/fcg_v8_singer_track_cp.fcg?singermid={singer_mid}&order=listen&num={sum}' # 歌曲列表lrc_url = 'https://c.y.qq.com/lyric/fcgi-bin/fcg_query_lyric.fcg?nobase64=1&musicid={musicid}' # 歌詞列表discuss_url = 'https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?cid=205360772&reqtype=2&biztype=1&topid=' \'{song_id}&cmd=8&pagenum=0&pagesize=25' # 歌曲評論# 構造請求，爬取的頁數。def start_requests(self):for i in range(1, self.settings.get('MAX_PAGE') + 1): # 在配置信息里獲取爬取頁數yield Request(self.start_urls[0].format(num=80 * (i - 1), id=i), callback=self.parse_user)def parse_user(self, response):"""依次爬取歌手榜的用戶信息singer_mid：用戶midsinger_name：用戶名稱返回爬取用戶熱歌信息。:param response::return:"""singer_list = json.loads(response.text).get('singerList').get('data').get('singerlist') # 獲取歌手列表for singer in singer_list:singer_mid = singer.get('singer_mid') # 歌手midsinger_name = singer.get('singer_name') # 歌手名字yield Request(self.song_url.format(singer_mid=singer_mid, sum=self.settings.get('SONGER_NUM')),callback=self.parse_song, meta={'singer_name': singer_name}) # 爬取歌手的熱歌3、分析歌單列表
我們發(fā)現singermid和order參數是必須常量，num是獲取歌曲的數量。
我們分析返回的請求里的需要信息。
在music.py中繼續(xù)編程
def parse_song(self, response):"""爬取歌手下面的熱歌歌曲id是獲取評論用的歌曲mid是獲取歌曲下載地址用的:param response::return:"""songer_list = json.loads(response.text).get('data').get('list')for songer_info in songer_list:music = QqMusicItem()singer_name = response.meta.get('singer_name') # 歌手名字song_name = songer_info.get('musicData').get('songname') # 歌曲名字music['singer_name'] = singer_namemusic['song_name'] = song_namesong_id = songer_info.get('musicData').get('songid') # 歌曲idmusic['id'] = song_idsong_mid = songer_info.get('musicData').get('songmid') # 歌曲midmusicid = songer_info.get('musicData').get('songid') # 歌曲列表yield Request(url=self.discuss_url.format(song_id=song_id), callback=self.parse_comment,meta={'music': music, 'musicid': musicid, 'song_mid': song_mid})4、分析歌詞請求
musicid：參數是剛才獲取歌曲列表中的songid，我們繼續(xù)寫music.py里面的代碼。
爬取歌詞代碼的編寫
def parse_lrc(self, response):"""爬取歌曲的歌詞:param response::return:"""music = response.meta.get('music')music['lrc'] = response.textsong_mid = response.meta.get('song_mid')yield Request(url=self.song_down.format(songmid=song_mid), callback=self.parse_url,meta={'music': music, 'songmid': song_mid})我們打開歌詞的url鏈接，直接在瀏覽器上打不開，因為沒有referer參數，所以我們在postman里面構造請求，發(fā)現數據需要清洗。
歌詞信息的清洗
我們在pipelines.py文件中清洗數據。
# -*- coding: utf-8 -*-# Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html import jsonimport pymongo import refrom scrapy.exceptions import DropItem from qq_music.items import QqMusicItemclass QqMusicPipeline(object):def process_item(self, item, spider):return itemclass lrcText(object):"""獲取的歌詞需要清洗"""def __init__(self):passdef process_item(self, item, spider):"""進行正則匹配獲取的單詞:param item::param spider::return:"""if isinstance(item, QqMusicItem):if item.get('lrc'):result = re.findall(r'[\u4e00-\u9fa5]+', item['lrc'])item['lrc'] = ' '.join(result)return itemelse:return DropItem('Missing Text')5、分析評論
一樣的套路分析url里面的參數信息，主要的還是剛才獲取的singid。
6、下載歌曲的url
歌曲我就不下載了，直接獲取的是下載的url鏈接，這個分析可以看QQ音樂歌曲下載的另一篇博客，這里就直接寫代碼了。
def parse_url(self, response):"""解析歌曲下載地址的url:param response::return:"""song_text = json.loads(response.text)song_mid = response.meta.get('songmid')vkey = song_text['data']['items'][0]['vkey'] # 加密的參數music = response.meta.get('music')if vkey:music['song_url'] = 'http://dl.stream.qqmusic.qq.com/C400' + song_mid + '.m4a?vkey=' + \vkey + '&guid=9082027038&uin=0&fromtag=66'else:music['song_url'] = 'null'yield music7、將數據保存到Mongo
配置信息是在setting.py設置，crawler.settings.get可以直接獲取配置信息。
class MongoPipline(object):"""保存到Mongo數據庫"""def __init__(self, mongo_url, mongo_db):self.mongo_url = mongo_urlself.mongo_db = mongo_dbself.client = pymongo.MongoClient(self.mongo_url)self.db = self.client[self.mongo_db]@classmethoddef from_crawler(cls, crawler):return cls(mongo_url=crawler.settings.get('MONGO_URL'),mongo_db=crawler.settings.get('MONGO_DB'))def open_spider(self, spider):passdef process_item(self, item, spider):if isinstance(item, QqMusicItem):data = dict(item)self.db[item.collection].insert(data)return itemdef close_spider(self, spider):self.client.close()7、隨機User-Agent
我用的自己維護的代理池，這里就不寫隨機代理了，直接寫隨機User-Agent。
在middlewares.py中編寫隨機頭。
8、在setting.py中開啟中間件的使用
ROBOTSTXT_OBEY = False DOWNLOADER_MIDDLEWARES = {# 'qq_music.middlewares.QqMusicDownloaderMiddleware': 543,'qq_music.middlewares.my_useragent': 544, } ITEM_PIPELINES = {# 'qq_music.pipelines.QqMusicPipeline': 300,'qq_music.pipelines.lrcText': 300,'qq_music.pipelines.MongoPipline': 302, }9、運行程序
(venv) ? qq_music git:(master) ? scrapy crawl music總結
2. 在使用yield Request(self.start_urls, callback=self.parse_user, meta={‘demo’:demo})調用下個請求方法時，用meta傳遞參數，不然每次用yield 返回一個item后，就是要進行pipelines處理。
3. 請求要依次處理，調用另一個函數會自動在headers中生成referer鏈接。
總結
以上是生活随笔為你收集整理的Scrapy爬取QQ音乐、评论、下载、歌曲、歌词的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： USB抓包
- 下一篇： ptmalloc,tcmalloc和je