Scrapy是什么?
先看官网上的说明,http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy是一个非常好用的爬虫框架,它不仅提供了一些开箱即用的基础组件,还提供了强大的自定义功能。
# Scrapy 安装
Scrapy 官网:https://scrapy.org/
各位同学的电脑环境应该和小编的相差不远(如果是使用 win10 的话) 安装过程需要10分钟左右
安装命令:
pip install scrapy
由于 Scrapy 依赖了大量的第三方的包,所以在执行上面的命令后并不会马上就下载 Scrapy ,而是会先不断的下载第三方包,包括并不限于以下几种:
- pyOpenSSL:Python 用于支持 SSL(Security Socket Layer)的包。
- cryptography:Python 用于加密的库。
- CFFI:Python 用于调用 C 的接口库。
- zope.interface:为 Python 缺少接口而提供扩展的库。
- lxml:一个处理 XML、HTML 文档的库,比 Python 内置的 xml 模块更好用。
- cssselect:Python 用于处理 CSS 选择器的扩展包。
- Twisted:为 Python 提供的基于事件驱动的网络引擎包。
- ……
如果安装不成功多试两次 或者 执行pip install --upgrade pip
后再执行 pip install scrapy
等待命令执行完成后,直接输入 scrapy 进行验证。
C:\Users\Administrator>scrapy Scrapy 2.4.0 - no active project Available commands: bench Run quick benchmark test ...
版本号可能会有差别,不用太在意
如果能正常出现以上内容,说明我们已经安装成功了。
理论上 Scrapy 安装出现各种问题才算正常情况
三、Scrapy创建项目
Scrapy 提供了一个命令来创建项目 scrapy 命令,在命令行上运行:
scrapy startproject jianshu
我们创建一个项目jianshu用来爬取简书首页热门文章的所有信息。
jianshu/ scrapy.cfg jianshu/ __init__.py items.py pipelines.py settings.py spiders/ __init__.py ...
spiders
文件夹下就是你要实现爬虫功能(具体如何爬取数据的代码),爬虫的核心。在spiders文件夹下自己创建一个spider,用于爬取简书首页热门文章。
scrapy.cfg
是项目的配置文件。
settings.py
用于设置请求的参数,使用代理,爬取数据后文件保存等。
items.py
自己预计需要爬取的内容
middlewares.py
自定义中间件的文件
pipelines.py
管道,保持数据
项目的目录就用网图来展示一下吧
cd到Jianshu项目中,生成一个爬虫:
scrapy genspider jianshublog www.jianshu.com
这种方式生成的是常规爬虫
1)新建jianshuSpider
import scrapy class JianshublogSpider(scrapy.Spider): name = 'jianshublog' allowed_domains = ['www.jianshu.com'] start_urls = ['http://www.jianshu.com/'] def parse(self, response): pass
可以看到,这个类里面有三个属性 name
、 allowed_domains
、 start_urls
和一个parse()
方法。
name
,它是每个项目唯一的名字,用来区分不同的 Spider。
allowed_domains
,它是允许爬取的域名,如果初始或后续的请求链接不是这个域名下的,则请求链接会被过滤掉。
start_urls
,它包含了 Spider 在启动时爬取的 url 列表,初始请求是由它来定义的。
parse
,它是 Spider 的一个方法。默认情况下,被调用时 start_urls 里面的链接构成的请求完成下载执行后,返回的响应就会作为唯一的参数传递给这个函数。该方法负责解析返回的响应、提取数据或者进一步生成要处理的请求。
到这里我们就清楚了,parse()
方法中的 response 是前面的 start_urls
中链接的爬取结果,所以在 parse() 方法中,我们可以直接对爬取的结果进行解析。
修改USER_AGENT
打开settings.py 添加 UA 头信息
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3493.3 Safari/537.36'
修改`parse`方法解析网页
我们打开简书首页 右键检查(ctrl+shift+I)发现所有的博客头条都放在类名.note-list
.content
的div 节点里面
修改jianshublog.py
代码如下
jianshublog.py
import scrapy class JianshublogSpider(scrapy.Spider): name = 'jianshublog' allowed_domains = ['www.jianshu.com'] start_urls = ['http://www.jianshu.com/'] def parse(self, response): blogs = response.css('.note-list .content') # 获取博客列表 for blog in blogs: # 遍历博客列表 title = blog.css('.title::text').extract_first() # 提取标题 link = blog.css('.title::attr(href)').extract_first() # 提取链接 nickname = blog.css('.nickname::text').extract_first() # 提作者 print("标题:",title) # 打印标题 # print("链接:", link) # print("作者:", nickname)
最后别忘了执行爬虫命令
scrapy crawl jianshublog
整个项目就完成啦
下一讲我们把文章数据爬取出来,存储在csv文件里面
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]
- 模拟之声慢刻CD《徐小凤45周年》[德国母带][低速原抓WAV+CUE]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- 《王菲 单曲合集》[FlAC/分轨][520MB]
- 《费玉清 原味再现 水长流》[WAV+CUE][430MB]
- 群星.1992-畅销榜老歌金曲10CD【风格】【WAV+CUE】
- 孙悦.2024-时光音乐会【金蜂】【WAV+CUE】