Cookies的處理

作用保存客戶端的相關(guān)狀態(tài)

在爬蟲中如果遇到了cookie的反爬如何處理?

手動(dòng)處理 在抓包工具中捕獲cookie,將其封裝在headers中 應(yīng)用場景:cookie沒有有效時(shí)長且不是動(dòng)態(tài)變化

自動(dòng)處理 使用session機(jī)制 使用場景:動(dòng)態(tài)變化的cookie session對象:該對象和requests模塊用法幾乎一致.如果在請求的過程中產(chǎn)生了cookie,如果該請求使用session發(fā)起的,則cookie會(huì)被自動(dòng)存儲(chǔ)到session中.

案例

爬取雪球網(wǎng)中的新聞資訊數(shù)據(jù):https://xueqiu.com/

#獲取一個(gè)session對象import requestsheaders = { ’User-Agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36’}session = requests.Session()main_url = ’https://xueqiu.com’ #推測對該url發(fā)起請求會(huì)產(chǎn)生cookiesession.get(main_url,headers=headers)url = ’https://xueqiu.com/v4/statuses/public_timeline_by_category.json’params = { ’since_id’: ’-1’, ’max_id’: ’20346152’, ’count’: ’15’, ’category’: ’-1’,}page_text = session.get(url,headers=headers,params=params).json()page_text

到此這篇關(guān)于python cookie反爬處理的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python cookie反爬內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！