文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多？
瀏覽：94日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章：
1. css - 如何把一個視圖放在左浮動定位的視圖的上面？2. python的正則怎么同時匹配兩個不同結果？3. php多任務倒計時求助4. javascript - axios請求回來的數據組件無法進行綁定渲染5. javascript - vue中怎么使用原生js插件6. MySQL的聯合查詢[union]有什么實際的用處7. javascript - jquery怎么讓a標簽跳轉后保持tab的樣式8. css - 子元素跑到父元素外面9. javascript - 小demo：請教怎么做出類似于水滴不斷擴張的效果？10. javascript - 請問下面代碼中的...是擴展運算符還是操作運算符？這樣寫是什么意思？
排行榜
網公網安備