本文实例讲述了Python学习笔记之pandas索引列、过滤、分组、求和功能。分享给大家供大家参考,具体如下:
解析html内容,保存为csv文件
//www.jb51.net/article/162401.htm
前面我们已经把519961(基金编码)这种基金的历史净值明细表html内容抓取到了本地,现在我们还是需要 解析html,取出相关的值,然后保存为csv文件以便pandas
来统计分析。
from bs4 import BeautifulSoup import os import csv # 使用 BeautifulSoup 解析html内容 def getFundDetailData(html): soup = BeautifulSoup(html,"html.parser") rows = soup.find("table").tbody.find_all("tr") result = [] for row in rows: tds=row.find_all('td') result.append({"fcode": '519961' ,"fdate": tds[0].get_text() , "NAV": tds[1].get_text() , "ACCNAV": tds[2].get_text() , "DGR": tds[3].get_text() , "pstate":tds[4].get_text() , "rstate": tds[5].get_text() } ) return result # 把解析之后的数据写入到csv文件 def writeToCSV(): data_dir = "../htmls/details" all_path = os.listdir(data_dir) all_result = [] for path in all_path: if os.path.isfile(os.path.join(data_dir,path)): with open(os.path.join(data_dir,path),"rb") as f: content = f.read().decode("utf-8") f.close() all_result = all_result + getFundDetailData(content) with open("../csv/519961.csv","w",encoding="utf-8",newline="") as f: writer = csv.writer(f) writer.writerow(['fcode', 'fdate', 'NAV', "ACCNAV", 'DGR', 'pstate', "rstate"]) for r in all_result: writer.writerow([r["fcode"], r["fdate"], r["NAV"], r["ACCNAV"], r["DGR"], r["pstate"], r["rstate"]]) f.close()
# 执行 writeToCSV()
pandas 排序、索引列
# coding: utf-8 import pandas if __name__ == "__main__" : # 读取csv文件 创建pandas对象 pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 这列设置为 索引列 # 根据索引列 倒序 print(pd.sort_index(ascending=False))
既然fdate
列设置为了索引列,那么如果根据索引获取呢?
# 读取csv文件 创建pandas对象 pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate") # 把 fdate 这列设置为 索引列 pd.index = pandas.to_datetime(pd.index) print(pd["2017-11-29 "]) # 2017-11-29 519961 1.189 1.189 -1.00% 限制大额申购 开放赎回
2、直接指定fdate
列就是日期类型
# 读取csv文件 创建pandas对象 pd = pandas.read_csv("./csv/519961.csv", dtype={"fcode":pandas.np.str_}, index_col="fdate", parse_dates=["fdate"]) # 指明fdate是日期类型 print(pd["2017-11-29 "]) # 2017-11-29 519961 1.189 1.189 -1.00% 限制大额申购 开放赎回
打印索引:
print(pd.index) # 打印 索引
可以看出是DatetimeIndex
的索引:
DatetimeIndex(['2015-08-13', '2015-08-12', '2015-08-11', '2015-08-10', '2015-08-07', '2015-08-06', '2015-08-05', '2015-08-04', '2015-08-03', '2015-07-31', ... '2015-07-02', '2015-07-01', '2015-06-30', '2015-06-29', '2015-06-26', '2015-06-25', '2015-06-24', '2015-06-23', '2015-06-19', '2015-06-18'], dtype='datetime64[ns]', name='fdate', length=603, freq=None)
3、索引的高级用法
# 取出 2017年7月的 全部数据 print(pd["2017-07"]) # 取出 2017年7月到9月的 数据 print(pd["2017-07":"2017-09"]) # 到2015-07的数据 print(pd[:"2015-07"]) # 取出截至到2015-07的数据 # 然后 倒序 print(pd[:"2015-7"].sort_index(ascending=False))
获取基金日增长率下跌次数最多的月份
result = pd[pd["DGR"].notnull()] # DGR一定要有值 # 过滤掉DGR值里的%号,最后取出小于0的值(负数就表示增长率下跌了 ) result = result[result['DGR'].str.strip("%").astype(pandas.np.float)<0] # 按照月份 统计DGR跌的次数 result = result.groupby(lambda d:d.strftime("%Y-%m")).size() # 对DGR跌的次数 倒序,然后取出前面第一个 result = result.sort_values(ascending=False).head(1) print(result) # 2016-04 12 意思就是2016年4月份 是该基金DGR下跌次数最多的月份
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- 叶丽仪.1992-仙鹤神针电视剧原声音乐专辑【星传真】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]
- 模拟之声慢刻CD《徐小凤45周年》[德国母带][低速原抓WAV+CUE]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]