文章詳情頁
網(wǎng)頁爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁內(nèi)容丟失的問題？
瀏覽：110日期：2022-09-23 08:23:07
問題描述
待解析頁面的部分代碼如第一幅圖所示，我自己寫的代碼及運行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁面丟失是因為用的是lxml的解析方式，我想說我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來都不考慮javascript動態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會有動態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請求頁面的url是拿不到的。建議你點右鍵查看網(wǎng)頁源代碼，對照著F12里面的內(nèi)容來看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. javascript - 關(guān)于css絕對定位在ios瀏覽器被橡皮筋遮擋的問題2. （python)關(guān)于如何做到按win+R再輸入文件文件名就可以運行？3. mysql - 分庫分表、分區(qū)、讀寫分離 這些都是用在什么場景下 ，會帶來哪些效率或者其他方面的好處4. Python如何播放還存在StringIO中的MP3?5. javascript - vue的element-ui(餓了嗎UI) webpack打包時externals無法分離6. javascript - 請教如何獲取百度貼吧新增的兩個加密參數(shù)7. css3 - 微信前端頁面遇到的transition過渡動畫的bug8. Python爬蟲如何爬取span和span中間的內(nèi)容并分別存入字典里？9. css - input間的間距和文字上下居中10. python - 能通過CAN控制一部普通的家用轎車嗎？
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備