文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽:124日期:2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了,stop之后重新跑也沒有任何反應,有人知道是怎么回事嗎?謝謝大家。
問題解答
回答1:放代碼吧 騷年
回答2:根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100,這說明在 processor 發生了堵塞,那就要看 processor 在干什么,是不是死掉了。
相關文章:
1. mysql ER_BAD_DB_ERROR: Unknown database ’test’2. javascript - 我的站點貌似被別人克隆了, google 搜索特定文章,除了域名不一樣,其他的都一樣,如何解決?3. mysql - 記得以前在哪里看過一個估算時間的網站4. css - 關于offsetLeft和offsetTop5. javascript - Ajax加載Json時,移動端頁面向左上角縮小一截兒,加載完成后才正常顯示,這該如何解決?6. mysql刪除一個空數據庫報錯Table storage engine for ’proc’ doe7. python中怎么對列表以區間進行統計?8. python運行后沒有任何反饋要怎么排查9. angular.js使用$resource服務把數據存入mongodb的問題。10. javascript - 如何獲取未來元素的父元素在頁面中所有相同元素中是第幾個?
排行榜
