python 爬取英雄聯(lián)盟皮膚圖片
一開(kāi)始都是先去《英雄聯(lián)盟》官網(wǎng)找到英雄及皮膚圖片的網(wǎng)址:
URL = r’https://lol.qq.com/data/info-heros.shtml’
從上面網(wǎng)址可以看到所有英雄都在,按下F12查看源代碼,發(fā)現(xiàn)英雄及皮膚圖片并沒(méi)有直接給出,而是隱藏在JS文件中。這時(shí)候需要點(diǎn)開(kāi)Network,找到j(luò)s窗口,刷新網(wǎng)頁(yè),就看到一個(gè)champion.js的選項(xiàng),點(diǎn)擊可以看到一個(gè)字典——里面就包含了所有英雄的名字(英文)以及對(duì)應(yīng)的編號(hào)(如下圖)。
但是只有英雄的名字(英文)以及對(duì)應(yīng)的編號(hào)并不能找到圖片地址,于是回到網(wǎng)頁(yè),隨便點(diǎn)開(kāi)一個(gè)英雄,跳轉(zhuǎn)頁(yè)面后發(fā)現(xiàn)英雄及皮膚的圖片都在,但要下載還需要找到原地址,這是鼠標(biāo)右擊選擇“在新標(biāo)簽頁(yè)中打開(kāi)”,新的網(wǎng)頁(yè)才是圖片的原地址(如下圖)。
圖中紅色框就是我們需要的圖片地址,經(jīng)過(guò)分析知道:每一個(gè)英雄及皮膚的地址只有編號(hào)不一樣(http://ossweb-img.qq.com/images/lol/web201310/skin/big266000.jpg),而該編號(hào)有6位,前3位表示英雄,后三位表示皮膚。剛才找到的js文件中恰好有英雄的編號(hào),而皮膚的編碼可以自己定義,反正每個(gè)英雄皮膚不超過(guò)20個(gè),然后組合起來(lái)就可以了。
圖片地址搞掂都就可以開(kāi)始寫(xiě)程序了:
第一步:獲取js字典def path_js(url_js): res_js = requests.get(url_js, verify = False).content html_js = res_js.decode('gbk') pat_js = r’'keys':(.*?),'data'’ enc = re.compile(pat_js) list_js = enc.findall(html_js) dict_js = eval(list_js[0]) return dict_js第二步:從 js字典中提取到key值生成url列表
def path_url(dict_js): pic_list = [] for key in dict_js:for i in range(20): xuhao = str(i) if len(xuhao) == 1:num_houxu = '00' + xuhao elif len(xuhao) == 2:num_houxu = '0' + xuhao numStr = key+num_houxu url = r’http://ossweb-img.qq.com/images/lol/web201310/skin/big’+numStr+’.jpg’ pic_list.append(url) print(pic_list) return pic_list第三步:從 js字典中提取到value值生成name列表
def name_pic(dict_js, path): list_filePath = [] for name in dict_js.values():for i in range(20): file_path = path + name + str(i) + ’.jpg’ list_filePath.append(file_path) return list_filePath第四步:下載并保存數(shù)據(jù)
def writing(url_list, list_filePath): try:for i in range(len(url_list)): res = requests.get(url_list[i], verify = False).content with open(list_filePath[i], 'wb') as f:f.write(res) except Exception as e:print('下載圖片出錯(cuò),%s' %(e))return False
執(zhí)行主程序:
if __name__ == ’__main__’: url_js = r’http://lol.qq.com/biz/hero/champion.js’ path = r’./data/’ #圖片存在的文件夾 dict_js = path_js(url_js) url_list = path_url(dict_js) list_filePath = name_pic(dict_js, path) writing(url_list, list_filePath)
運(yùn)行后會(huì)在控制臺(tái)打印出每一張圖片的網(wǎng)址:
在文件夾中可以看到圖片已經(jīng)下載好:
以上就是我的分享,如果有什么不足之處請(qǐng)指出,多交流,謝謝!
以上就是python 爬取英雄聯(lián)盟皮膚圖片的詳細(xì)內(nèi)容,更多關(guān)于python 爬取英雄聯(lián)盟圖片的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
1. php測(cè)試程序運(yùn)行速度和頁(yè)面執(zhí)行速度的代碼2. 解決python腳本中error: unrecognized arguments: True錯(cuò)誤3. Nginx+php配置文件及原理解析4. 八種Vue組件間通訊方式合集(推薦)5. 解決Python 進(jìn)程池Pool中一些坑6. ajax請(qǐng)求添加自定義header參數(shù)代碼7. php網(wǎng)絡(luò)安全中命令執(zhí)行漏洞的產(chǎn)生及本質(zhì)探究8. 無(wú)線標(biāo)記語(yǔ)言(WML)基礎(chǔ)之WMLScript 基礎(chǔ)第1/2頁(yè)9. PHP8.0新功能之Match表達(dá)式的使用10. Android實(shí)現(xiàn)觸發(fā)html頁(yè)面的Button控件點(diǎn)擊事件方式
