色综合图-色综合图片-色综合图片二区150p-色综合图区-玖玖国产精品视频-玖玖香蕉视频

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

網(wǎng)頁(yè)爬蟲(chóng) - Python3.6 下的爬蟲(chóng)總是重復(fù)爬第一頁(yè)的內(nèi)容

瀏覽:145日期:2022-06-30 17:08:03

問(wèn)題描述

問(wèn)題如題:改成while,試了很多,然沒(méi)有效果,請(qǐng)教大家

# coding:utf-8# from lxml import etreeimport requests,lxml.html,osclass MyError(Exception): def __init__(self, value):self.value = value def __str__(self):return repr(self.value) def get_lawyers_info(url): r = requests.get(url) html = lxml.html.fromstring(r.content) # phones = html.xpath(’//span[@class='law-tel']’) phones = html.xpath(’//span[@class='phone pull-right']’) # names = html.xpath(’//p[@class='fl']/p/a’) names = html.xpath(’//h4[@class='text-center']’) if(len(phones) == len(names)):list(zip(names,phones))phone_infos = [(names[i].text, phones[i].text_content()) for i in range(len(names))] else:error = 'Lawyers amount are not equal to the amount of phone_nums: '+urlraise MyError(error) phone_infos_list = [] for phone_info in phone_infos:if(phone_info[0] == ''): info = '沒(méi)留姓名'+': '+phone_info[1]+'rn'else: info = phone_info[0]+': '+phone_info[1]+'rn'print (info)phone_infos_list.append(info) return phone_infos_listdir_path = os.path.abspath(os.path.dirname(__file__))print (dir_path)file_path = os.path.join(dir_path,'lawyers_info.txt')print (file_path)if os.path.exists(file_path): os.remove(file_path)with open('lawyers_info.txt','ab') as file: for i in range(1000):url = 'http://www.xxxx.com/cooperative_merchants?searchText=&industry=100&provinceId=19&cityId=0&areaId=0&page='+str(i+1)# r = requests.get(url)# html = lxml.html.fromstring(r.content)# phones = html.xpath(’//span[@class='phone pull-right']’)# names = html.xpath(’//h4[@class='text-center']’) # if phones or names:info = get_lawyers_info(url)for each in info: file.write(each.encode('gbk'))

問(wèn)題解答

回答1:

# coding: utf-8import requestsfrom pyquery import PyQuery as Qurl = ’http://www.51myd.com/cooperative_merchants?industry=100&provinceId=19&cityId=0&areaId=0&page=’with open(’lawyers_info.txt’, ’ab’) as f: for i in range(1, 5):r = requests.get(’{}{}’.format(url, i))usernames = Q(r.text).find(’.username’).text().split()phones = Q(r.text).find(’.phone’).text().split()print zip(usernames, phones)

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 国产精品videosse | 久草在线视频免费看 | 99久久精品国产一区二区小说 | 免费a级黄毛片 | 国内自拍小视频 | 国产亚洲欧美在线人成aaaa | 久久er国产精品免费观看1 | 性色欧美xo影院 | 一级毛片观看 | 91精品国产免费久久国语蜜臀 | 久久亚洲精品中文字幕三区 | 日韩精品一区二区三区在线观看 | 亚洲最大看欧美片网站 | 99热久久国产精品免费看 | 久久综合中文字幕一区二区 | 亚洲成人影院在线 | 亚洲精品一二三区-久久 | 夜夜春夜夜夜夜猛噜噜噜噜噜 | 国产一级久久免费特黄 | 国产亚洲高清在线精品不卡 | 久久精品国产一区二区 | 中日毛片| 99视频国产热精品视频 | 精品国产90后在线观看 | 在线观看免费国产成人软件 | 韩国美女爽快一级毛片黄 | 成 人 a v免费视频 | 九九精品在线观看 | 国产午夜免费不卡精品理论片 | 欧美一a级做爰 | 亚洲国产成人久久笫一页 | 五月天激激婷婷大综合蜜芽 | 男女免费视频网站 | 国产精品国产 | 日韩女人做爰大片 | 日本一区二区三区四区五区 | 一级做a爰片久久毛片潮喷 一级做a爰片久久毛片美女 | 男人的天堂在线 | 亚洲一区二区精品视频 | 国产精品二区三区 | 国产乱码一区二区三区四川人 |