一、前言

最近需要獲取微信小程序上的數(shù)據(jù)進行分析處理，第一時間想到的方式就是采用python爬蟲爬取數(shù)據(jù)，嘗試后發(fā)現(xiàn)諸多問題，比如無法獲取目標網(wǎng)址、解析網(wǎng)址中存在指定參數(shù)的不確定性、加密問題等等，經(jīng)過一番嘗試，終于使用 Charles 抓取到指定微信小程序中的數(shù)據(jù)，本文進行記錄并總結(jié)。

環(huán)境配置：

電腦：Windows10，連接有線網(wǎng)

手機：iPhone Xr，連接無線網(wǎng)

注：有線網(wǎng)與無線網(wǎng)最好位于同一網(wǎng)段下。

本文有線網(wǎng)網(wǎng)址：192.168.131.24，無線網(wǎng)網(wǎng)址：192.168.210.223

二、Charles配置與使用 1.Charles簡介

Charles，一個HTTP代理服務(wù)器,HTTP監(jiān)視器,反轉(zhuǎn)代理服務(wù)器，當程序連接Charles的代理訪問互聯(lián)網(wǎng)時，Charles可以監(jiān)控這個程序發(fā)送和接收的所有數(shù)據(jù)。它允許一個開發(fā)者查看所有連接互聯(lián)網(wǎng)的HTTP通信，這些包括request, response和HTTP headers （包含cookies與caching信息）。

Charles主要功能：

1. 支持SSL代理。可以截取分析SSL的請求。

2. 支持流量控制。可以模擬慢速網(wǎng)絡(luò)以及等待時間（latency）較長的請求。

3. 支持AJAX調(diào)試?？梢宰詣訉son或xml數(shù)據(jù)格式化，方便查看。

4. 支持AMF調(diào)試。可以將Flash Remoting 或 Flex Remoting信息格式化，方便查看。

5. 支持重發(fā)網(wǎng)絡(luò)請求，方便后端調(diào)試。

6. 支持修改網(wǎng)絡(luò)請求參數(shù)。

7. 支持網(wǎng)絡(luò)請求的截獲并動態(tài)修改。

8. 檢查HTML，CSS和RSS內(nèi)容是否符合W3C標準。

----百度百科

Charles，著名的抓包工具，可以抓取移動端與pc端網(wǎng)絡(luò)訪問的所有數(shù)據(jù)，操作簡單，試用期后每30分鐘需要重啟一次，且啟動有10秒延遲，較麻煩。

2.Charles安裝

Charles官網(wǎng)下載：https://www.charlesproxy.com/download/

下載對應(yīng)版本后完成安裝。

3.證書配置（重要?。?Charles安裝證書：

Help -> SSL Proxying -> Install Charles Root Certificate

在Windows端需要安裝Charles證書，點擊后如圖所示（此為安裝成功后截圖）：

點擊安裝證書，

點擊下一步，

在此選擇第二個，將所有證書都放入下列存儲，點擊瀏覽，選擇受信任的根證書頒發(fā)機構(gòu)。

確定后下一步。

點擊完成后提示導入成功。此時需要重新進入Help -> SSL Proxying -> Install Charles Root Certificate，查看證書結(jié)果，成功時如下提示：

移動端安裝證書（重要?。?/p>

移動端同樣也需要安裝Charles證書，具體操作如下：

選擇在移動端安裝證書選項，Charles提示如下：

提示需要設(shè)置手機http代理為192.168.131.24，端口為8888，然后在手機瀏覽器上訪問 chls.pro/ssl 下載安裝證書。如果IOS 版本在10以上，必須在設(shè)置->通用->關(guān)于本機->證書信任設(shè)置中打開對根證書啟用完全信任。

接下來逐一操作如下：

1. 手機上打開無線局域網(wǎng)鏈接，選擇鏈接的無線網(wǎng)信息頁如下：

2. 在http代理中選擇手動，添加Charles提示的http代理：192.168.1324，端口為8888，選擇存儲。

3. 手機上設(shè)置->通用->關(guān)于本機->證書信任設(shè)置，打開右邊按鈕，開啟完全信任。

注：手機設(shè)置完成后若無法上網(wǎng)，極有可能是ios版本過高并沒有開啟對證書的 完全信任、完全信任、完全信任 導致！?。?/p>

手機正確連接后，Charles會彈框類似如下，說明連接成功。（圖中IP地址為另一個測試機）

瀏覽器端配置

谷歌與火狐瀏覽器默認并不使用系統(tǒng)的代理服務(wù)器設(shè)置，而 Charles 是通過將自己設(shè)置成代理服務(wù)器來完成封包截取的，所以在默認情況下無法截取 Chrome 和 Firefox 瀏覽器的網(wǎng)絡(luò)通訊內(nèi)容。如果你需要截取的話，在 Chrome 中設(shè)置成使用系統(tǒng)的代理服務(wù)器設(shè)置即可，或者直接將代理服務(wù)器設(shè)置成 127.0.0.1:8888 也可達到相同效果。

至此，證書的相關(guān)三點設(shè)置完畢。

4.Charles配置 取消Windows代理

由于此次目標是抓取移動端微信小程序中的數(shù)據(jù)，取消此選項是盡量減少無關(guān)的數(shù)據(jù)量。

查看本機IP地址與配置相關(guān)端口號

默認端口號是8888，可以修改。

Help -> Local ip Address :

Proxy -> Proxy Settings :

ssl代理設(shè)置

安裝完成ssl證書后，需要在Charles中開啟ssl代理設(shè)置，在Proxy->SSL Proxying Settings中，勾選Enable SSL Proxying，

點擊add，新增訪問的目標地址，根據(jù)提示，空的host與port匹配所有的值，可以使用*與？進行匹配，此處host與port均填寫*。

至此，Charles相關(guān)的配置完畢。

三、Charles數(shù)據(jù)抓取

手機與Charles均配置成功后，打開微信小程序，此時Charles會自動獲取http與https訪問，如下：

點擊左邊解析的鏈接，選擇Contents，JSON Text，可以看到解析出來的微信小程序數(shù)據(jù)內(nèi)容。

在Overview中，可以看到訪問的url地址為：

https://nujump.tigerobo.com/HB_Jumper/ztjump.ashx?topic=8&aris_data=kcb_1_announced_corp&pageIndex=1&pageSize=5，

主要參數(shù)為pageIndex與pageSize，即頁面索引與當頁顯示的數(shù)據(jù)量，在瀏覽器中訪問該url，可以看到返回的結(jié)果為json格式的數(shù)據(jù)：

其實，當通過Charles解析出url鏈接時，即可通過python爬蟲爬取接口返回的數(shù)據(jù)了，不涉及反爬蟲等問題，非常方便。

四、問題集錦

1.網(wǎng)絡(luò)問題：

網(wǎng)傳手機與電腦鏈接的網(wǎng)段必須相同，但是也有不一致的說法，本文測試時，無線網(wǎng)與有線網(wǎng)是處在同一網(wǎng)段下。

2. 手機或電腦無法聯(lián)網(wǎng)：

證書問題：證書未能正確安裝，查看手機上是否始終信任證書?。ǘ鄶?shù)情況下如此）；電腦上查看證書是否安裝在受信任的位置，瀏覽器中的證書是否正確添加。

防火墻問題：關(guān)閉Windows10的防火墻，取消阻止傳入連接。

其他問題：網(wǎng)傳Charles開啟了White list，但測試時并未發(fā)現(xiàn)。

3.https加密的鏈接顯示unknow

此問題遇到的可能性最大，導致的原因很多，

最有可能的原因在于證書的問題，證書未能正確安裝，查看手機上是否始終信任證書?。。ǘ鄶?shù)情況下如此，注意iOS版本問題，過高需要始終信任此證書）；電腦上查看證書是否安裝在受信任的位置。

五、補充

目前來說，采用Charles抓取移動端微信小程序數(shù)據(jù)應(yīng)該是比較容易的，就是配置過程與安裝證書較為繁瑣。

除此之外，網(wǎng)傳另外一種方式，使用TBS爬取微信小程序，本人嘗試后始終未能正確爬取數(shù)據(jù)，如哪位大神操作正確，抓取數(shù)據(jù)順利，還望告知，不勝感激！

TBS爬取微信小程序參考連接如下：

https://my.oschina.net/sumiao/blog/1587350?utm_source=debugrun&utm_medium=referral

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持好吧啦網(wǎng)。