三方包引入
使用到了以下包:
爬蟲 scrapy
網(wǎng)絡(luò)測試 requests
數(shù)據(jù)分析 numpy和pandas
繪圖 matplotlib和wordcloud
pip install scrapy
pip install requests
pip install numpy
pip install pandas
pip install matplotlib
pip install wordcloud
插要:關(guān)注!轉(zhuǎn)發(fā)!私信小編【01】即可獲取python入門20天完整學(xué)習(xí)筆記和100道基礎(chǔ)練習(xí)題及答案以及入門書籍視頻源碼等資料。
爬取數(shù)據(jù)
打開QQ音樂網(wǎng)頁版的分類歌單界面,乍一看,一分析網(wǎng)頁源碼,看到下圖:
那么看來它就是使用動態(tài)填充的,那么它肯定就調(diào)用了接口,請求數(shù)據(jù),那么就去找,在檢查里的network中找啊找,最終找到了它:
然后寫上代碼,經(jīng)過調(diào)試,終于成功了。
最后我把它保存成一個csv文件,通過播放量排序,截取前20,得到了下圖
分析數(shù)據(jù)
對于這個數(shù)據(jù)的處理,就用到了numpy和pandas以及matplotlib。經(jīng)過分析得出下圖結(jié)果:
播放次數(shù)分析
標(biāo)簽分析