文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據？
瀏覽：103日期：2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了，并且已帶上cookies,已修改header，拿到的數據是提示刷新的HTML，如圖：
原網頁是動態加載的瀑布流，即往不斷下拉就不斷有內容呈現出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態加載的數據你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關文章：
1. Python處理Dict生成json2. （python)關于如何做到按win+R再輸入文件文件名就可以運行？3. 想練支付寶對接和微信支付對接開發（Java），好像個人不可以，怎么弄個企業的4. mysql - Sql union 操作5. java - Mybatis 數據庫多表關聯分頁的問題6. 急急急?。。∏蟠笊窠獯鹁W站評論問題，有大神幫幫小弟嗎7. javascript - 按鈕鏈接到另一個網址 怎么通過百度統計計算按鈕的點擊數量8. python - 如何使用websocket在網頁上動態示實時數據的折線圖？9. python - 請問這兩個地方是為什么呢？10. python2.7 - python 正則前瞻 后瞻 無法匹配到正確的內容
排行榜
網公網安備