去腾讯招聘网的信息,这个小项目有人做过,本着一个新手学习的目的,所以自己也来做着玩玩,大家可以参考一下。
这里使用的是调用cmdline命令来生成csv文件,而不是importcsv模块。
from scrapy import cmdline cmdline.execute("scrapy crawl field -o info.csv -t csv".split())
这段代码我保存在一个自建的.py文件中,然后在主文件中调用这个模块,这样就不用每次在cmd中敲命令了,大家可以使用这种方法我觉得很方便的。
进入正题(获取腾讯招聘网的信息http://hr.tencent.com/position.php):
保存的csv文件内容:
我们需要获取的数据首先应该使用scrapy的items容器记录下来:
import scrapy class GetItem(scrapy.Item): name = scrapy.Field() #招聘单位 genre = scrapy.Field() #招聘类型 number = scrapy.Field() #招聘人数 place = scrapy.Field() #招聘地点 time = scrapy.Field() #招聘时间
以上为我们等一下需要获取的信息
然后我们新建spider文件来编写爬去网站的代码:
# _*_ coding:utf-8 _*_ import scrapy from scrapy.http import Request from time import sleep import os import sys sys.path.append("D:\PYscrapy\get_Field") #我使用这种路径添加的方式来调用GetItem函数和main函数 from get_Field.items import GetItem import main #main函数开头就说了两行调用程序的代码,你也可以在cmd中使用scrapy crawl field -o info.csv -t csv来调用。主要是方便 class Tencentzhaopin(scrapy.Spider): name = "field" #这个程序要执行的唯一标识名 可以自己设置 start_urls = ["http://hr.tencent.com/position.php"] #首页网址 url = "http://hr.tencent.com/" #由于有翻页操作所以我们设置翻页前缀,等一下获取后缀 count = 0 names = [] #这五个列表记录我们获取的信息 genres = [] numbers = [] places = [] times = [] filename = "data.txt" #保存的文件名 if os.path.exists(filename) == True: #判断这个文件是否已经存在文件夹中,有就移除掉。 os.remove(filename) def parse(self,response): self.count += 1 #设置我们需要爬去多少页,不设置的话会有几百页需要爬取 name = response.xpath('//table//td[@class="l square"]//a//text()').extract() #通过xpath方法获取我们需要的内容,再使用extract()抽取器获取到 for i in name: #利用循环将每一次的内容存入我们上面设置的列表中去,方便后面存入csv文件(下面4个类似) self.names.append(i) genre = response.xpath('//table//tr[not(@class="h")]//td[2][not(@align="center")]//text()').extract() for i in genre: self.genres.append(i) number = response.xpath('//table//tr[not(@class="h")]//td[3][not(@align="center")]//text()').extract() for i in number: self.numbers.append(i) place = response.xpath('//table//tr[not(@class="h")]//td[4][not(@align="center")]//text()').extract() for i in place: self.places.append(i) time = response.xpath('//table//tr[not(@class="h")]//td[5][not(@align="center")]//text()').extract() for i in time: self.times.append(i) new_url = response.xpath('//*[@id="next"]//@href').extract() #前面我们说过需要翻页操作,所以这里是获取到翻页的后缀 new_url = self.url+new_url[0] #再与前缀结合,获取到一个完整的下一页链接 sleep(0.5) #我们设置一个翻页的时间,太快了不好。。。。(我是这样想的) #下面就是信息存入items容器 for i in range(len(self.genres)): #for循环列表的长度,获取到所有信息 info = GetItem() #实例一个类info用来保存数据 info["name"] = self.names[i] #将每一个属性列表中的每一个数据保存依次保存到info中去 info["genre"] = self.genres[i] info["number"] = self.numbers[i] info["place"] = self.places[i] info["time"] = self.times[i] yield info #这个yield注意了,嗯,这就很舒服了 #我们将每一次保存的数据返回,但是返回了我们还需要程序继续执行,所以使用yield函数返回后继续执行 if self.count<=20: yield Request(url=new_url,callback=self.parse) #如果满足20页以内,我们callback返回下一页的链接继续到parse这个默认函数,
以上是spider中的代码。
其实实现这个代码不难,唯一有一点小疑惑的地方可能就是第一个yield的使用,一开始我是使用调用一个新的函数,然后在里面实现值的返回,但是麻烦还有一点小问题,所以这里我们就是用这种简单的方式就行了,yield将每次循环的数据返回,返回后再继续执行循环。
总结
以上就是本文关于python3使用scrapy生成csv文件代码示例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新动态
- DzintraErliha-Dreamscape(2024)[24Bit-96kHz]FLAC
- 群星.1999-上华世纪国语总冠军4CD【上华】【WAV+CUE】
- 叶丽仪.1992-仙鹤神针电视剧原声音乐专辑【星传真】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 《51首热门当红歌曲 十大顶级发烧女声 3CD》[WAV+CUE][1.6GB]
- 《赵传 深受摇滚迷青睐的台湾音乐人 约定》[WAV+CUE][320MB]
- 《庄心妍 实力唱将 发烧音乐精选集》[WAV+CUE][380MB]
- [音展纪念碟]2006年《TAA台湾第十六届国际HI-ENDHI-FI音响展》2cd[WAV]
- 中国音乐地图之听见西藏山歌牧歌酒歌2020[WAV分轨]
- 王宏伟2017-永远的红飘带[太平洋影音][WAV+CUE]
- 费翔.1997-NOW现在【第一中国】【WAV+CUE】
- 新格合唱团.1981-我唱你和2辑(滚石新格民歌系列)【新格】【WAV+CUE】
- 陈柏宇.2011-QUINQUENNIUM【SONY】【WAV+CUE】
- 雨果唱片-《金唛系列-蔷薇依韵琼瑶》WAV
- 陈百强《凝望(2012华纳LPCD45限量版)[DMI]》[WAV整轨]