应用场景:工作中经常遇到大量的数据需要整合、去重、按照特定格式导出等情况。如果用 Excel 操作,不仅费时费力,还不准确,有么有更高效的解决方案呢?
本文以17个 txt 文本,3万多条数据为例,使用 Python 连接 MySQL 数据库,实现快速操作。
别人加班干的活,我的 Python 小助手几秒钟就搞定了!
本文主要包括以下三方面内容:
- 数据写入
- 数据去重
- 数据导出
将数据写入 MySQL 数据库
下图所示文件是本文的数据源:
我们的设想是:编写一个小程序,扔在这个文件夹里,双击后就可以自动读取每个 txt 文档中的数据,并写入数据库。
代码如下:
import pymysql import os conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8') cur = conn.cursor() cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));") conn.commit() path = os.getcwd() files = os.listdir(path) i = 0 for file in files: f = open(file,'r',encoding = 'UTF-8') next(f) for line in f: i += 1 #print(line) sql = "insert into qq(qq) values(%s);" cur.execute(sql,line) print("插入第", i, "条数据!") conn.commit() f.close() cur.close() conn.close()
运行效果:
重点代码解释:
这段代码用到了 pymysql 和 os 两个库。
- pymysql:用来操作 MySQL 数据库;
- os:用来遍历所在文件夹下的所有文件。
现将主要代码解释如下:
1、遍历任意文件夹下所有文件名称
程序写好后,使用 pyinstaller 打包成 exe 程序,并放在要操作的文件夹下面。
通过 path = os.getcwd() 命令,获取该 exe 文件所在目录。
通过 files = os.listdir(path) 命令,获取 exe 文件所在目录下的所有文件名称,并存入 files 列表中。
这样我们就获得了所有的 txt 文件名称,你可以任意命名你的 txt 文件名,程序都能读出来。
2、将数据写入数据库
(1)连接数据库,并在数据库中创建新表
A. 连接到我的 qq 数据库
conn = pymysql.connect(host='localhost', user='root', password='123456', db='qq', charset='utf8')
B. 创建新表 qq
在 qq 数据库中创建新表,表名称为 qq ,包含 2 个字段:id 字段为主键、自动递增;qq 字段为字符型,用于存储数据。
cur.execute("CREATE TABLE qq ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id))")
(2)将数据写入数据库
这里使用了两层循环:
for file in files: f = open(file,'r',encoding = 'UTF-8') next(f) for line in f: i += 1 #print(line) sql = "insert into qq(qq) values(%s);" cur.execute(sql,line) print("插入第", i, "条数据!") conn.commit() f.close()
第一层循环是用来依次打开上述 17 个 txt 文件。
第二层循环是依次读取每个 txt 文件的每一行,并将改行数据插入数据库表 qq 的 qq字段。
至此就完成了数据的导入,总共32073条数据。
数据清洗
这里以去除重复值为例,简单介绍一下数据清洗。
1、创建一个新表,用来存储清洗后的数据
可以在 cmd 窗口下登陆 MySQL,打开 qq 数据库,执行下列操作:
CREATE TABLE qq_dist ( id int(5) NOT NULL auto_increment, qq varchar(20)NOT NULL, PRIMARY KEY (id));
这样就创建了新表 qq_dist ,用来存储清洗后的数据,便于后期调用。
2、清洗数据
登陆 MySQL 后,执行下列操作:
insert into qq_dis(qq) select distinct qq from qq;
将从 qq 表中查找出的不重复的 qq 字段内容,插入到 qq_dist 表中的 qq 字段。
将数据按照特定格式导出
案例:将清洗后的数据的第101-200行导出到新的 txt 文本中。
代码如下:
import pymysql conn = pymysql.connect(host='localhost', user='root', password='123456', db='wxid', charset='utf8') print("写入中,请等待……") cur = conn.cursor() sql = "select wxid from wd_dis limit 100,100;" cur.execute(sql) conn.commit() alldata = cur.fetchall() f = open('data101-200.txt','a') i = 0 for data in alldata: i += 1 f.write(data[0]) f.flush() f.close cur.close() conn.close() print("写入完成,共写入{}条数据!".format(i))
重点代码解释:
1、 limit
MySQL 中 limit m,n 函数的含义是:从第 m+1 行开始读取 n 行。
所以,本案例中读取第101-200行,就是 limit 100,100
2、flush()
flush() 函数一定要加上,它可以将缓冲区的数据写入文件中。否则就会出现生成的 txt 文档为空白的错误。
总结
以上所述是小编给大家介绍的使用 Python 处理3万多条数据只要几秒钟,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- DzintraErliha-Dreamscape(2024)[24Bit-96kHz]FLAC
- 群星.1999-上华世纪国语总冠军4CD【上华】【WAV+CUE】
- 叶丽仪.1992-仙鹤神针电视剧原声音乐专辑【星传真】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]