色综合图-色综合图片-色综合图片二区150p-色综合图区-玖玖国产精品视频-玖玖香蕉视频

您的位置:首頁技術文章
文章詳情頁

Python爬蟲:Request Payload和Form Data的簡單區別說明

瀏覽:3日期:2022-07-26 17:49:47

Request Payload 和 Form Data 請求頭上的參數差別在于:

Content-TypeForm Data

Post表單請求

代碼示例

headers = { 'Content-Type': 'application/x-www-form-urlencoded'}requests.post(url, data=data, headers=headers)Request Payload

傳遞json數據

headers = { 'Content-Type': 'application/json'}requests.post(url, data=json.dumps(data), headers=headers)

Scrapy 的FormRequest只支持 Form Data 表單提交,源碼固定為前者

補充知識:如何傳遞Request PayLoad(請求負載)中的數據?

在做爬蟲的時候,在分析請求的過程,遇到參數長這樣的:

原理不太清楚,等搞明白再來補充。這里只記錄如何應用這些數據。

用法:

根據上面的圖片,由于是post請求,參數一般是以key-value的json字符串傳遞,或者將參數放入map傳遞。我們可以看到很多name,這個name就是key,下面的數據就是value,我們可以提取所有的key及value,組成一個json字符串或者map傳遞即可。

比如上面的數據可以提取如下:

{'view:id1:txtSearch':'','$$viewid':'!f9fpyhcv2t!','$$xspsubmitid':'view:_id1:_id2:pager1_Group_lnk_2','$$xspexecid':'view:_id1:_id2:parent','$$xspsubmitvalue':'','$$xspsubmitscroll':'0|0','view:_id1':'view:_id1'}

或者:

Map<String,String> m = new HashMap<String,String>(); m.put('view:id1:txtSearch', ''); m.put('$$viewid', '!f9fpyhcv2t!'); m.put('$$xspsubmitid', 'view:_id1:_id2:pager1_Group_lnk_2'); m.put('$$xspexecid', 'view:_id1:_id2:parent'); m.put('$$xspsubmitvalue', ''); m.put('$$xspsubmitscroll', '0|0'); m.put('view:_id1', 'view:_id1');

由于我是用Jsoup來發請求的,所以我這樣傳參數即可:

Jsoup.connect('').data(m).cookies(null).method(Method.POST);

或者:

Connection conn = Jsoup.connect('');String requestJson = '{'view:id1:txtSearch':'','$$viewid':'!f9fpyhcv2t!','$$xspsubmitid':'view:_id1:_id2:pager1_Group_lnk_2','$$xspexecid':'view:_id1:_id2:parent','$$xspsubmitvalue':'','$$xspsubmitscroll':'0|0','view:_id1':'view:_id1'}';conn.requestBody(requestJson);conn.cookies(null).method(Method.POST);conn.execute();

具體參數具體情況填啦。

是不是超簡單。

注意一點,請求負載中的value值不一定是固定值,若每次請求都會發生變化,那么就需要分析這個變化的值從哪里來,動態獲取這個值,然后發送請求才能正確。

以上這篇Python爬蟲:Request Payload和Form Data的簡單區別說明就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 久久两性| 久久高清一级毛片 | 精品久久久久久久久久久久久久久 | 国产成人亚洲精品久久 | 一级做α爱过程免费视频 | 美女亚洲视频 | 伊人久久大香线焦在观看 | 天天看片欧美 | 色噜噜国产精品视频一区二区 | 国产男女乱淫真视频全程播放 | 亚洲欧美国产精品专区久久 | 香蕉久久综合精品首页 | 手机看片精品高清国产日韩 | 毛片的网址 | 在线观看人成网站深夜免费 | 成人女人a毛片在线看 | 精品91精品91精品国产片 | 日本精品一区二区三区在线 | 国产com| 亚洲精品国产成人7777 | 97在线视频观看 | 一区二区三区免费视频网站 | 人人爽人人香蕉 | 国产国语对白一级毛片 | 国产精品免费视频一区一 | 国产理论视频 | 经典香港一级a毛片免费看 精品400部自拍视频在线播放 | 亚洲高清成人欧美动作片 | 美女让我桶| 91欧美在线 | 九九久久国产精品 | 成年人三级网站 | 欧美精品免费线视频观看视频 | 一本大道香蕉久在线不卡视频 | 黄色a三级三级三级免费看 黄色a网 | 模特精品一区二区三区 | 青久草视频| 国产成人综合欧美精品久久 | 中文字幕va一区二区三区 | 国产日韩欧美在线一二三四 | 日韩影院久久 |