通過Python將Json數據導入MongoDB
問題描述
首先數據是以標準的json格式的文本。然后想要通過python腳本來導入Mongodb中。json
{ 'service': 'http', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 80}{ 'service': 'ewall', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 1328}
python部分代碼:
with open(filen, ’r’) as f:while 1: try:jsonstr = f.readline().strip()# print jsonstr 可以輸出整個json的內容if not jsonstr: breaktry: j = json.loads(jsonstr) #這里好像不處理的問題 except: continuejsonlist.append(j) except:break
請問這個情況要怎么解決呢?謝謝
問題解答
回答1:你這個問題是因為你這個不是標準的json格式,標準的格式應該是這樣的
[{ 'service': 'http', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 80},{ 'service': 'ewall', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 1328}]
第二個你這個數據是按行讀的,請告訴我你一行數據到底是什么樣子的
回答2:@sheep3 的回答是對的。
如果你直接把JSON放MongoDB里你可以用mongoimport (https://docs.mongodb.com/manu...
你還想處理數據的話可以用這樣的代碼:
import jsonfilename = ’test.json’with open(filename, ’r’) as f: content = json.load(f)
如果JSON文件的內容比內存大你應該通過streaming方式把JSON文件打開。你可以用ijson包(https://pypi.python.org/pypi/...)。用法也比較簡單:
import ijsonwith open(’test.json’) as fp: objects = ijson.items(fp, 'item') for object in objects:print(object)回答3:
@Christoph 的回答直接點名了更簡單及優化的處理方案,學了一招
相關文章:
1. 網頁爬蟲 - python爬蟲翻頁問題,請問各位大神我這段代碼怎樣翻頁,還有價格要登陸后才能看到,應該怎么解決2. python如何不改動文件的情況下修改文件的 修改日期3. python 正則表達式提取4. 算法 - python 給定一個正整數a和一個包含任意個正整數的 列表 b,求所有<=a 的加法組合5. javascript - 微信h5發送圖文信息,部分設備點擊“發送”按鈕時沒反應,問題較難重現,如何能找到可能存在問題的點?6. javascript - 微信小程序里怎么把頁面轉成圖片分享7. 大家好,請問在python腳本中怎么用virtualenv激活指定的環境?8. python - 求一個在def中可以實現調用本def滿足特定條件continue效果的方法(標題說不太清楚,請見題內描述)9. javascript - JS用ajax爬取百度外賣店家信息10. python - Pycharm調試代碼進行列表遍歷時,如何直接賦值指定元素
