色综合图-色综合图片-色综合图片二区150p-色综合图区-玖玖国产精品视频-玖玖香蕉视频

您的位置:首頁技術文章
文章詳情頁

Python 批量下載陰陽師網站壁紙

瀏覽:2日期:2022-06-19 10:30:00
目錄最終版本過程借鑒代碼思考urllib.request和requestsBeautifulSoup優化處理總結

代碼復制可直接使用,記得pip install下載requests和bs4

最終版本

# 引入系統類庫用于打開關閉文件import sys# 使用文檔解析類庫from bs4 import BeautifulSoup# 使用網絡請求類庫import requests#圖片保存目錄path = ’D:/陰陽師’ #陰陽師壁紙網站html_doc = 'https://yys.163.com/media/picture.html' # 請求requests_html_doc = requests.get(html_doc).text# 正則匹配所有href地址regex = re.compile(’.*?href='http://www.lshqa.cn/bcjs/(.*?)2732x2048.jpg' rel='external nofollow' ’)urls = regex.findall(requests_html_doc)# set集合可以防止下載的圖片重復result = set()for i in urls: result.add(i)# 計數器用于圖片命名num = 0# 文件路徑、操作模式、編碼 # r’’# 打開文件錄入圖片f = open(r’result.txt’, ’w’, encoding=’utf-8’)for a in urls: try:image_data = requests.get(a).contentimage_name = ’{}.jpg’.format(num) # 給每張圖片命名save_path = path + ’/’ + image_name # 圖片的保存地址with open(save_path, ’wb’) as f: f.write(image_data) print(image_name, ’=======================>下載成功!!!’) num = num+1 # 下一張圖片名字序號加一 except:pass# 關閉文件錄入f.close()print('rn掃描結果已寫入到result.txt文件中rn')過程借鑒代碼

自己從0開始,沒有頭緒,而且對python掌握度不高,那先借鑒別人的代碼開始,第一篇借鑒的代碼如下

# 引入系統類庫import sys# 使用文檔解析類庫from bs4 import BeautifulSoup# 使用網絡請求類庫import urllib.requestpath = ’D:/陰陽師’html_doc = 'https://yys.163.com/media/picture.html'# 獲取請求req = urllib.request.Request(html_doc)# 打開頁面webpage = urllib.request.urlopen(req)# 讀取頁面內容html = webpage.read()# 解析成文檔對象soup = BeautifulSoup(html, ’html.parser’) # 文檔對象# 非法URL 1invalidLink1 = ’#’# 非法URL 2invalidLink2 = ’javascript:void(0)’# set集合可以防止下載的圖片連接重復result = set()# 計數器用于圖片命名num = 0# 查找文檔中所有a標簽for k in soup.find_all(’a’): # print(k) # 查找href標簽 link = k.get(’href’) # 過濾沒找到的 if(link is not None):# 過濾非法鏈接if link == invalidLink1: passelif link == invalidLink2: passelif link.find('javascript:') != -1: passelse: result.add(link)for a in result: # 文件路徑、操作模式、編碼 # r’’ f = open(r’result.txt’, ’w’, encoding=’utf-8’) # image_data = urllib.request.get(url=a).content image_data = requests.get(url=a).content image_name = ’{}.jpg’.format(num) # 給每張圖片命名 save_path = path + ’/’ + image_name # 圖片的保存地址 with open(save_path, ’wb’) as f:f.write(image_data)print(image_name, ’=======================>下載成功!!!’)num = num+1 # 下一張圖片名字序號加一f.close()print('rn掃描結果已寫入到result.txt文件中rn')思考urllib.request和requests

借鑒的代碼中使用urllib.request來請求,剛開始學習看到的一些代碼實例也常用urllib.request來發起請求,之后看到有的代碼使用的是requests。對于我個人,主觀感受requests更加便捷,少寫了幾行代碼,于是便去查閱了解兩者的區別。

BeautifulSoup

接觸到了BeautifulSoup,并且在一些文章的評論中看到對BeautifulSoup的稱贊,進入文檔查閱了下用法,改變了我之前對python,獲取文檔中部分特征的元素節點的寫法困難的印象。

Beautiful Soup 4.4.0 文檔

優化處理

之所以要加正則匹配,因為一開始獲取到的圖片鏈接里有空字符串的現象,在下載圖片的時候直接報錯整個程序掛掉,而且這個借鑒代碼中的invalidLink1和invalidLink2看起來屬實不舒服。所以添加了正則從源頭保證鏈接的有效性,并且在執行下載代碼中,添加了try,except保證程序出錯也不會掛掉。

借鑒的代碼中每一次的下載,都會對要保存的目錄進行打開和關閉,于是將打開關閉抽離到最外層,下載的邏輯放在里面,下載圖片成功的提速果然肉眼可見~

總結

壁紙確實不戳~,希望下一個學習的腳本能更加有趣~

以上就是Python 批量下載陰陽師網站壁紙的詳細內容,更多關于python 下載陰陽師網站壁紙的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 91撸视频 | 亚洲成人免费网址 | 99久久精品国产片久人 | 成人欧美一区二区三区在线观看 | 91.久久| 毛片一级在线观看 | 欧美三级美国一级 | 在线私拍国产福利精品 | 特黄特黄一级高清免费大片 | 久久福利资源站免费观看i 久久高清精品 | 日本一级特黄aa毛片免费观看 | 黄色激情网站 | 一级全免费视频播放 | 在线中文字幕播放 | 黄色三级视频 | 2020国产微拍精品一区二区 | 免费国产一区二区在免费观看 | 午夜性刺激免费视频 | 黄色毛片播放 | 国产一区二区三区在线观看影院 | 国产大尺度福利视频在线观看 | 久久精品国产一区二区三区不卡 | 精品久久久日韩精品成人 | 日产一区二区三区四区 | 亚洲成人福利网站 | 欧美一级久久久久久久大片 | 中文一区二区在线观看 | 一级做a爰片久久毛片潮喷 一级做a爰片久久毛片美女 | 成人无遮挡毛片免费看 | 国产在线拍揄自揄视精品不卡 | 办公室紧身裙丝袜av在线 | 国产一级黄色网 | 欧美一区二区三区免费播放 | 国产精品久久久天天影视香蕉 | 拍拍拍又黄又爽无挡视频免费 | 国产一区二区三区久久精品小说 | ccav在线永久免费看 | 国产特黄一级毛片特黄 | 亚洲天堂网在线观看 | 成人精品一区二区久久久 | 亚洲男人的天堂久久无 |