問題描述

用superagent爬網(wǎng)頁(yè)，遇到重定向，拿不到重定向后的響應(yīng)體，該如何解決，如何獲取重定向后的網(wǎng)頁(yè)

我想獲取501頁(yè)面的res，但是他跳轉(zhuǎn)到37018頁(yè)面，導(dǎo)致我拿到501頁(yè)面的空res。

測(cè)試了爬取不到的網(wǎng)頁(yè)，發(fā)現(xiàn)有2種情況

一開始進(jìn)入網(wǎng)頁(yè)響應(yīng)碼是200，過一小會(huì)刷新變成304

一進(jìn)入響應(yīng)碼從301重定向到200，過一小會(huì)刷新變成304

測(cè)試了能爬取到的網(wǎng)頁(yè)，發(fā)現(xiàn)有2種情況

一進(jìn)入響應(yīng)碼從301重定向到200，過一小會(huì)刷新變成304

一開始進(jìn)入網(wǎng)頁(yè)響應(yīng)碼是200，過一小會(huì)刷新變成304

啊，我擦，那就沒什么區(qū)別啦，小白不知道這跟我爬不到內(nèi)容有沒有關(guān)系，orz

再再補(bǔ)充

問題不在重定向，而在于我的正則表達(dá)式匹配問題

問題解答

你都不看官方文檔的嗎？

Following redirects

By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:

request .get(’/some.png’) .redirects(2) .end(callback);