文章詳情頁(yè)
python - pyspider 定時(shí)爬取問題
瀏覽：114日期：2022-07-14 10:37:31
問題描述
在寫爬蟲的時(shí)候，發(fā)現(xiàn) 在代碼中設(shè)置了 every 之后，21號(hào)爬取了一次之后，今天看 result 沒有更新，那個(gè) lastcrawltime 依舊是 21號(hào)的。請(qǐng)問是不是我的參數(shù)設(shè)置的不正確？
問題解答
回答1：你貼的這個(gè) task 的圖，是什么任務(wù)的？
貼的是 detail_page 的任務(wù)的
題主給 index_page 設(shè)置了小于 cronjob 間隔的時(shí)間。然而沒有給 detail_page 設(shè)置。這樣 detail_page 是不會(huì)被重新調(diào)度的
project 隊(duì)列狀態(tài)，最近活動(dòng)任務(wù)是怎樣的？
回答2：有可能是 every 和 age 不匹配。如果 age 沒問題的話，說實(shí)話這屬于疑難雜癥了，我也經(jīng)常遇到，我都是去 taskdb 把相應(yīng)的表清空，然后重啟 pyspider 重新運(yùn)行項(xiàng)目
相關(guān)文章：
1. 視頻文件不能播放，怎么辦？2. windows7 ping不通虛擬機(jī)VMware上的linux（ubuntu）的ip3. node.js - nodejs開發(fā)中常用的連接mysql的庫(kù)4. mysql - 把一個(gè)表中的數(shù)據(jù)count更新到另一個(gè)表里?5. mysql - 分庫(kù)分表、分區(qū)、讀寫分離 這些都是用在什么場(chǎng)景下 ，會(huì)帶來哪些效率或者其他方面的好處6. javascript - 微信網(wǎng)頁(yè)開發(fā)從菜單進(jìn)入頁(yè)面后，按返回鍵沒有關(guān)閉瀏覽器而是刷新當(dāng)前頁(yè)面，求解決？7. mysql - 如何減少使用或者不用LEFT JOIN查詢？8. mysql - 字符串根據(jù)字典替換9. 老師您的微信號(hào)是多少？10. mysql replace 死鎖
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備