文章詳情頁
java - QQ空間爬蟲總是被封號
瀏覽:116日期:2022-09-24 17:58:56
問題描述
抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎?如何既可以快速 又可以不封號!謝謝啦!
代碼在github上地址https://github.com/20100507/Q...
問題解答
回答1:反爬蟲策略:
1、識別請求頭,判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip,判斷是否是爬蟲3、請求參數中進行加密或復雜加密,增加爬蟲開發的難度(如淘寶的ua算法)4、復雜驗證碼
應對反爬蟲策略:
1、在爬取過程中,適當切換代理ip2、適當降低請求頻率3、請求頭模擬成瀏覽器的請求,也就是用戶正常訪問的請求
你的問題,主要可以通過定時切換ip,或一旦被封再切換ip,來解決,可以考慮去“站大爺”等代理ip網站付費獲取,或者去多用幾個電信賬號,用ASDL撥號來切換ip。
標簽:
qq
相關文章:
1. javascript - 按鈕鏈接到另一個網址 怎么通過百度統計計算按鈕的點擊數量2. sql語句 - 如何在mysql中批量添加用戶?3. mysql 可以從 TCP 連接但是不能從 socket 鏈接4. mysql - PHP定時通知、按時發布怎么做?5. 怎么php怎么通過數組顯示sql查詢結果呢,查詢結果有多條,如圖。6. mysql - JAVA怎么實現一個DAO同時實現查詢兩個實體類的結果集7. 事務 - mysql共享鎖lock in share mode的實際使用場景8. mysql建表索引問題求助9. mysql - 數據庫建字段,默認值空和empty string有什么區別 11010. mysql 非主鍵做范圍查找實現原理的一點困惑
排行榜
