本文档介绍了 Python 下载文件的各种方式,从下载简单的小文件到用断点续传的方式下载大文件。
Requests
使用 Requests 模块的 get 方法从一个 url 上下载文件,在 python 爬虫中经常使用它下载简单的网页内容
import requests # 图片来自bing.com url = 'https://cn.bing.com/th"htmlcode">from urllib import request # 图片来自bing.com url = 'https://cn.bing.com/th"htmlcode">def urllib3_download(): # 创建一个连接池 poolManager = urllib3.PoolManager() resp = poolManager.request('GET', url) with open("pic_urllib3.jpg", "wb") as file: file.write(resp.data) resp.release_conn()wget
在 Linux 系统中有 wget 命令,可以方便的下载网上的资源,Python 中也有相应的 wget 模块。使用 pip install 命令安装
import wget # 图片来自bing.com url = 'https://cn.bing.com/th"htmlcode">python -m wget https://cn.bing.com/th"htmlcode">import requests def steam_download(): # vscode 客户端 url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe' with requests.get(url, stream=True) as r: with open('vscode.exe', 'wb') as flie: # chunk_size 指定写入大小每次写入 1024 * 1024 bytes for chunk in r.iter_content(chunk_size=1024*1024): if chunk: flie.write(chunk)进度条
在下载大文件的时候加上进度条美化下载界面,可以实时知道下载的网络速度和已经下载的文件大小,这里使用 tqdm 模块作为进度条显示,可以使用 pip install tqdm 安装
from tqdm import tqdm def tqdm_download(): url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe' resp = requests.get(url, stream=True) # 获取文件大小 file_size = int(resp.headers['content-length']) with tqdm(total=file_size, unit='B', unit_scale=True, unit_divisor=1024, ascii=True, desc='vscode.exe') as bar: with requests.get(url, stream=True) as r: with open('vscode.exe', 'wb') as fp: for chunk in r.iter_content(chunk_size=512): if chunk: fp.write(chunk) bar.update(len(chunk))tqdm 参数说明:
- total:bytes,整个文件的大小
- unit='B': 按 bytes 为单位计算
- unit_scale=True:以 M 为单位显示速度
- unit_divisor=1024:文件大小和速度按 1024 除以,默认时按 1000 来除
- ascii=True:进度条的显示符号,用于兼容 windows 系统
- desc='vscode.exe' 进度条前面的文件名
示例结果
断点续传
HTTP/1.1 在协议的请求头中增加了一个名为 Range的字段域, Range 字段域让文件从已经下载的内容开始继续下载
如果网站支持 Range 字段域请求响应的状态码为 206(Partial Content),否则为 416(Requested Range not satisfiable)
Range 的格式
Range:[unit=first byte pos] - [last byte pos],即 Range = 开始字节位置-结束字节位置,单位:bytes将 Range 加入到 headers 中
from tqdm import tqdm def duan_download(): url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe' r = requests.get(url, stream=True) # 获取文件大小 file_size = int(r.headers['content-length']) file_name = 'vscode.exe' # 如果文件存在获取文件大小,否在从 0 开始下载, first_byte = 0 if os.path.exists(file_name): first_byte = os.path.getsize(file_name) # 判断是否已经下载完成 if first_byte >= file_size: return # Range 加入请求头 header = {"Range": f"bytes={first_byte}-{file_size}"} # 加了一个 initial 参数 with tqdm(total=file_size, unit='B', initial=first_byte, unit_scale=True, unit_divisor=1024, ascii=True, desc=file_name) as bar: # 加 headers 参数 with requests.get(url, headers = header, stream=True) as r: with open(file_name, 'ab') as fp: for chunk in r.iter_content(chunk_size=512): if chunk: fp.write(chunk) bar.update(len(chunk))示例结果
启动下载一段时间后,关闭脚本重新运行,文件在断开的内容后继续下载
总结
本文介绍了常用的 7 中文件下载方式,其他的下载方式大家可以在留言区交流交流共同进步
示例代码:Python 下载文件的多种方法
以上就是python 下载文件的多种方法汇总的详细内容,更多关于python 下载文件的资料请关注其它相关文章!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]