Ruby:無法抓取百度搜索結(jié)果
問題描述
URL:http://www.baidu.com/s?wd=site:www.cnblogs.com代碼:
def get_html(url) uri = URI(url) p resp = Net::HTTP.get(uri)end
而獲取到的結(jié)果是百度首頁的源碼,并不是搜索site:www.cnblogs.com的結(jié)果
不知道,Ruby中有關(guān)于網(wǎng)絡(luò)編程方面的好書籍沒?剛接觸ruby,很多東西不知道從何找(目前都是到官網(wǎng)看文檔)。
使用PHP簡單實現(xiàn)了下:
<?phpset_time_limit(0);function _rand(){ $length = 26; $chars = '0123456789abcdefghijklmnopqrstuvwxyz'; $max = strlen($chars) - 1; mt_srand((double)microtime() * 1000000); $string = ’’; for ($i = 0; $i < $length; $i++) {$string.= $chars[mt_rand(0, $max) ]; } return $string;}$HTTP_SESSION = _rand();$HTTP_SESSION;$HTTP_Server = 'www.baidu.com';$HTTP_URL = '/s?wd=site:www.cnblogs.com';$ch = curl_init();curl_setopt($ch, CURLOPT_URL, 'http://' . $HTTP_Server . $HTTP_URL);curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)');$res = curl_exec($ch);curl_close($ch);print_r($res);
問題解答
回答1:不管你使用什么語言的代碼來抓取,你都不可能這么簡單就就抓到百度的內(nèi)容了。百度不是以前那個百度了,沒各種cookie認(rèn)證,屁都抓不到,你最好研究一下看看有沒有api吧,百度前端的代碼各種繞,目的就是不讓你抓到。
回答2:http://www.baidu.com/s?wd=www.cnblogs.com&rsv_bp=0&ch=&tn=19045005_5_pg&bar=&rsv_spt=3&ie=utf-8&rsv_n=2&rsv_sug3=1&rsv_sug4=57&rsv_sug2=0&inputT=635樓主,這樣么一大堆扔出去才有回吧?
回答3:樓主 ,你是要 抓取 baidu采集的 興趣點(diǎn)poi嗎?
相關(guān)文章:
1. python - linux 下用wsgifunc 運(yùn)行web.py該如何修改代碼2. mysql優(yōu)化 - MySQL如何為配置表建立索引?3. 冒昧問一下,我這php代碼哪里出錯了???4. 關(guān)于mysql聯(lián)合查詢一對多的顯示結(jié)果問題5. php傳對應(yīng)的id值為什么傳不了啊有木有大神會的看我下方截圖6. windows誤人子弟啊7. 數(shù)據(jù)庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。8. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)9. 實現(xiàn)bing搜索工具urlAPI提交10. 如何用筆記本上的apache做微信開發(fā)的服務(wù)器
