亚洲免费在线视频-亚洲啊v-久久免费精品视频-国产精品va-看片地址-成人在线视频网

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

解決python執(zhí)行較大excel文件openpyxl慢問(wèn)題

瀏覽:106日期:2022-07-25 14:22:29

我就廢話不多說(shuō)了,大家還是直接看代碼吧!

talk is cheap

from openpyxl import Workbook from openpyxl.utils import get_column_letter from openpyxl import load_workbook import time wb = load_workbook('E:/a.xlsx', read_only=True) sh = wb['Sheet'] # rowItem = {} # for j in range(1,2000): # for i in range(1, 30): # rowItem[get_column_letter(i)] = i # sh.append(rowItem) # wb.save('E:/a.xlsx') t0 = time.time() print(sh[’V500’].value) t1 = time.time() print('openpyxl所用時(shí)間:', str(t1-t0)) import xlrd xlsPath = 'E:/a.xlsx' WorkBook = xlrd.open_workbook(xlsPath) sh = WorkBook.sheet_by_name('Sheet') t0 = time.time() print(sh.cell(499,22).value) t1 = time.time() print('xlrd所用時(shí)間:', str(t1-t0))

測(cè)試結(jié)果:

22openpyxl所用時(shí)間: 0.4421761035919189523.0xlrd所用時(shí)間: 0.0010063648223876953

結(jié)論

openpyxl的慢是讀取慢,可以選擇xlrd代替,詳細(xì)測(cè)試下面繼續(xù)

不直接使用xlwt+xlrd是因?yàn)閤lwt僅支持2003及以下版本,最大行數(shù)限制在65536,不夠用,而openpyxl大概在一百多萬(wàn)

主要的說(shuō)完了,下面詳細(xì)說(shuō)了:在寫工具的時(shí)候遇到的這個(gè)問(wèn)題,開(kāi)始是用的xlwt+xlrd,然后行數(shù)超標(biāo)了,沒(méi)辦法換成openpyxl使用excel2007的版本,原本測(cè)試不到三萬(wàn)行的數(shù)據(jù),只要三四秒,換成openpyxl以后,花了好幾分鐘,具體沒(méi)看多少了,然后加上函數(shù)運(yùn)行時(shí)間的監(jiān)視器以后,才看到是讀取的時(shí)候出的問(wèn)題

推測(cè)原因:

推測(cè)的話,openpyxl的根據(jù)行號(hào)列號(hào)讀取的時(shí)候,是從第一行第一列開(kāi)始遍歷,直到行號(hào)等于指定行號(hào),列號(hào)等于指定列號(hào),所以要讀取的行號(hào)列號(hào)越多就越慢,(也可能是從第一個(gè)有數(shù)據(jù)的行或列),而xlrd則是類似與數(shù)組一樣,我們要取第幾個(gè)元素,直接根據(jù)下標(biāo)找到內(nèi)存中對(duì)應(yīng)地址的元素即可,所以無(wú)論excel總量多少,速度基本都是不變的

留下的坑

xlwt寫入僅支持65536行,那xlrd的讀取很可能也是,也就是超過(guò)這么多的數(shù)據(jù)可能也會(huì)出錯(cuò)

我這里因?yàn)槭亲x多表數(shù)據(jù)生成單表數(shù)據(jù),生成方式大概是Na*Nb這樣,所以實(shí)際讀取的不會(huì)太多,但生成的很多,所以基本可以用考慮這個(gè)問(wèn)題

另外,據(jù)說(shuō)xlrd讀取xlsx格式的偶爾會(huì)出現(xiàn)問(wèn)題,具體沒(méi)測(cè)試,暫時(shí)用還沒(méi)毛病

最后,順帶上一下監(jiān)控函數(shù)運(yùn)行時(shí)間的裝飾器吧:

import timefrom functools import wrapsdef fn_timer(function): @wraps(function) def function_timer(*args, **kwargs): t0 = time.time() result = function(*args, **kwargs) t1 = time.time() print ('Total time running %s: %s seconds' % (function.__name__, str(t1-t0)) ) return result return function_timer

使用方式的話,就是在要監(jiān)控的函數(shù)定義上面加上 @fn_timer 就行了

以上這篇解決python執(zhí)行較大excel文件openpyxl慢問(wèn)題就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: python
相關(guān)文章:
主站蜘蛛池模板: 一区二区三区观看 | 欧美视频区 | 成人黄色免费看 | 国产网站免费 | 牲欧美| 美女张开腿让人桶 | 国产精品久久久久a影院 | 国产精品成人不卡在线观看 | 性做久久久久久免费观看 | 国产久草视频在线 | 国产成人精品综合久久久软件 | 久久精品视频在线播放 | 黄网站色视频免费观看w | 国产高清精品在线 | 成人小视频在线观看免费 | 日韩美香港a一级毛片 | 午夜爽爽爽男女免费观看hd | 国产精品久久久久久福利漫画 | 亚洲综合性 | 久久在线精品 | www.夜色.com| 三级黄色网址 | 一区二区三区精品视频 | 99热com| 毛片三级| 高清不卡毛片 | 国产精品久久国产精品99 | 欧美一级手机免费观看片 | japonensis国产福利 | 国产午夜精品不卡视频 | 一区二区三区免费高清视频 | 日本高清aⅴ毛片免费 | 国产在亚洲线视频观看 | 91精品手机国产在线能 | 国产精品美乳免费看 | 在线不卡亚洲 | 91精品啪在线看国产网站 | 美女一级毛片免费看看 | 日韩精品中文字幕在线 | 久久香蕉国产线看观看精品yw | 成年人免费在线视频网站 |