使用python做字典数据导入postgresql数据库内。PC为4核CPU。
数据量为一周的数据,总共有"9515903"条
01.单进程计算单个文件并马上导库,反复循环。总需要耗时867.717042459
02.尝试多进程读取每个数据,再合并数据,写库。总需要耗时442.614129279秒 其中数据读取时间为214.04秒 数据合并时间为241.19秒
03.尝试多进程读取每个数据,然后在进程内写库(未成功的写库)
04.设置一个写库进程反复循环,然后有四个读文件进程.总需要耗时:227.64907325299998秒