综述
本系列文档用于对Python爬虫技术进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4
urllib库介绍
它是 Python 内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习):
- request : 它是最基本的 HTTP 请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入 URL 还有额外的参数,就可以模拟实现这个过程了。
- error : 异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作保证程序不会意外终止。
- parse : 用于解析URL,提供了许多URL处理方法,比如拆分、解析、合并等等的方法,以及对参数的拼接等待。
- robotparser : 主要是用来识别网站的robots.txt协议文件,然后判断网站的那些数据可以爬,哪些数据不可以爬的,其实用的比较少。
urllib.request 介绍
urlopen()
1.参数说明(仅写了四个最常用的参数)
url : 爬取目标的URL;
data : 请求参数,如果设置该参数,则请求默认为post请求;没有默认为get请求;
timeout : 用于设置超时时间,单位为秒;
context : 必须是一个ssl.SSLContext类型,用来指定SSL设置,忽略未认证的CA证书;
2.具体用法
GET 请求方式
# 导入urllib库 import urllib.request # 向指定的url发送请求,并返回服务器响应的类文件对象 url = "http://www.baidu.com" response = urllib.request.urlopen(url=url) print(type(response)) # 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串 html = response.read() # html = response.readline() # 读取一行 # html = response.readlines() # 读取多行,返回列表 # 打印响应结果(byte类型) print(html) # 打印响应结果(utf-8类型) # 二进制和字符串之间的相互转码使用 encode() 和 decode() 函数 # encode() 和 decode() 可带参数,不写默认utf-8,其他不再特别说明 print(html.decode()) # 打印状态码 # print(response.get_code()) print(response.status) # 获取响应头 print(response.getheaders()) # 获取响应头Server信息 print(response.getheader('Server')) # 获取响应结果原因 print(response.reason)
POST 请求方式
# 导入urllib库 import urllib.parse import urllib.request # 向指定的url发送请求,并返回 post_url = 'https://fanyi.baidu.com/sug' # 传入参数 form_data = { 'kw': 'honey' } # 格式化参数 form_data = urllib.parse.urlencode(form_data).encode() response = urllib.request.urlopen(url=post_url, data=form_data) # 打印服务器响应的类文件对象 print(type(response)) # 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串 html = response.read() # 打印响应结果(byte类型) print(html) # 打印响应结果(utf-8类型) print(html.decode()) # 打印状态码 print(response.status) # print(response.getcode()) # 获取响应头 print(response.getheaders()) # 获取响应头Server信息 print(response.getheader('Server')) # 获取响应结果原因 print(response.reason)
urlretrleve()
1.参数说明
url : 下载链接地址;
filename : 指定保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据);
reporthook : 是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度;
data : 指post导服务器的数据,该方法返回一个包含两个元素的(filename, headers) 元组,filename 表示保存到本地的路径,header表示服务器的响应头;
2.具体用法
# 引入所需要的库 import os import urllib.request # 定义回调函数 def call_back(a, b, c): """ 图片下载回调 :param a: 已经下载的数据块 :param b: 数据块的大小 :param c: 远程文件的大小 :return: """ per = 100.0 * a * b / c if per > 100: per = 100 print('%.2f%%' % per) # 定义下下载的地址 url = 'http://www.baidu.com' # 构造文件保存路径 path = os.path.abspath('.') file_path = os.path.join(path, 'baidu.html') # 进行下载 urllib.request.urlretrieve(url, file_path, call_back)
urllib.parse 介绍
urlencode()
1.参数说明
query : url参数,可以是字符串,也可以是字典;
encoding : 编码方式;
2.具体用法
# 引入所需要的库 import urllib.parse # 参数数据 data = { 'name': '张三', 'age': 26 } # 进行编码 ret = urllib.parse.urlencode(data) print(ret)
parse_s()
1.参数说明
qs : url参数,编码后的字符串;
encoding : 字符方式;
2.具体用法
# 引入所需要的库 import urllib.parse # 参数数据 data = { 'name': '张三', 'age': 26 } # 进行编码 ret1 = urllib.parse.urlencode(data) print(ret1) # 进行解码 ret2 = urllib.parse.parse_qs(ret1) print(ret2)
urlparse()
1.参数说明
url : url地址字符串;
2.具体用法
# 引入所需要的库 import urllib.parse # 声明url url = "https://www.baidu.com/s" # 进行url解析 ret = urllib.parse.urlparse(url) print(ret) print('scheme:', ret.scheme) # 协议 print('netloc:', ret.netloc) # 域名服务器 print('path:', ret.path) # 相对路径 print('params:', ret.params) # 路径端参数 print('fragment:', ret.fragment) # 片段 print('query:', ret.query) # 查询 # urlunparse() 与 urlparse() 对应相反函数 # 使用urlparse的格式组合成一个url,可以直接将urlparse的返回传递组合 ret1 = urllib.parse.urlunparse(ret) print(ret1)
urlsplit()
1.参数说明
url : url地址字符串;
2.具体用法
# 引入所需要的库 import urllib.parse # 声明url url = "https://www.baidu.com/s" # 进行url解析 ret = urllib.parse.urlsplit(url) print(ret) print('scheme:', ret.scheme) # 协议 print('netloc:', ret.netloc) # 域名服务器 print('path:', ret.path) # 相对路径 print('fragment:', ret.fragment) # 片段 print('query:', ret.query) # 查询 # urlunsplit() 与 urlsplit() 对应相反函数 # 使用urlsplit的格式组合成一个url,可以直接将urlsplit的返回传递组合 ret1 = urllib.parse.urlunsplit(ret) print(ret1) # 此函数和urlparse函数的区别在于此函数没有params
urljoin()
1.参数说明
qs : url参数,编码后的字符串;
encoding : 字符方式;
2.具体用法
# 引入所需要的库 import urllib.parse # 声明url url = "https://www.baidu.com/" # 参数数据 data = { 'name': '张三', 'age': 26 } # 格式化参数 data = urllib.parse.urlencode(data) # 进行url拼接 ret = urllib.parse.urljoin(url, data) print(ret)
urllib.error 介绍
我们在爬虫的时候发请求的时候难免出现错误,如访问不到服务器或者访问被禁止等等,error分为URLError和HTTPError两类:
1.URLError
没有网
服务器链接失败
找不大指定服务器
2.HTTPError
是URLError的子类
3.两者区别和联系
1).URLError封装的错误信息一般是由网络引起的,包括url错误
2).HTTPError封装的错误信息一般是服务器返回了错误状态码
3).URLError是OSERROR的子类,HTTPError是URLError的子类
4).【注意】两个同时捕获的时候需要将子类放在上面,父类放在下面
用法
# 引入所需要的库 import urllib.error import urllib.request # 一个访问异常的url url = 'https://www.mz.com/156427/100' # 捕获异常 try: ret = urllib.request.urlopen(url) print(ret) except urllib.error.HTTPError as e: print(e.getcode()) except urllib.error.URLError as e: print(e)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
python,爬虫,urllib
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- DzintraErliha-Dreamscape(2024)[24Bit-96kHz]FLAC
- 群星.1999-上华世纪国语总冠军4CD【上华】【WAV+CUE】
- 叶丽仪.1992-仙鹤神针电视剧原声音乐专辑【星传真】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]