python爬取拉勾网职位数据的方法

脚本专栏 2024/9/1 佚名

3 2 1

今天写的这篇文章是关于python爬虫简单的一个使用，选取的爬取对象是著名的招聘网站——拉钩网，由于和大家的职业息息相关，所以爬取拉钩的数据进行分析，对于职业规划和求职时的信息提供有很大的帮助。

完成的效果

爬取数据只是第一步，怎样使用和分析数据也是一大重点，当然这不是本次博客的目的，由于本次只是一个上手的爬虫程序，所以我们的最终目的只是爬取到拉钩网的职位信息，然后保存到Mysql数据库中。最后中的效果示意图如下：

控制台输入

数据库显示

准备工作

首先需要安装python，这个网上已经有很多的教程了，这里就默认已经安装python，博主使用的是python3.6,然后安装了requests、pymysql（连接数据库使用）和Mysql数据库。

分析拉勾网

首先我们打开拉勾网，打开控制台，搜索java关键词搜索职位，选取北京地区，然后查看network一栏中的数据分析，查看第一个，是不是感觉它很像我们要拿到的请求地址，事实上不是的，这个打开之后是一个html，如果我们访问这个接口，拉钩会返回给我们一个结果，提示我们操作太频繁，也就是被拦截了。不过从这个页面可以看到，拉钩的网页用到了模板，这种加载数据的方式更加快速（大幅度提升），建议大家可以尝试使用一下（个人拙见）

不要气馁，我们接着往下找，可以看到一个“positionAjax”开头的请求，没错就它“ https://www.lagou.com/jobs/positionAjax.jsonpx=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false&isSchoolJob=0 ”，还是看图说话吧

找到请求地址之后，我们就开始写代码了。

先是导入requests和pymysql，然后requests的post方法访问上面找到的url，但是直接访问这个地址是会被拦截的，因为我们缺少所要传输的数据，和设置请求头，会被认为是非自然人请求的，加入请求头和数据，

headers = {'Referer':'https://www.lagou.com/jobs/list_'+position+'"htmlcode">

result=resp.json()['content']['positionResult']['result']

这个时候可以看到数据非常多，有30个左右，不过不用担心，都是英文单词，基本上可以才出意思。接下来我们就要怕这些数据存储到数据库中，以备日后分析使用。

连接mysql我使用的是pymysql，先建好数据库和数据表，然后在代码中加入配置信息

config={
 "host":"127.0.0.1",
 "user":"root",
 "password":"",
 "database":databaseName,
 "charset":"utf8"#防止中文乱码
}

加载配置文件，连接数据库

db = pymysql.connect(**config)
cursor = db.cursor()
sql=""#insert语句
cursor.execute（）
db.commit() #提交数据
cursor.close()
db.close()#用完记得关闭连接

大功告成，这个时候拉钩的职位信息已经静静地躺在了你的数据库中，静待你的宠幸，拿到这些数据，你就可以进行一些分析了，比如平均工资水平、职位技能要求等。

因为篇幅有限，有些代码并没有粘贴出来，比如sql语句（这个sql写的挺长的），但是别担心，楼主已经把这个程序放入到github上面了，大家可以自行下载，github地址：https://github.com/wudb1993/pythonDemo如果觉得不错的话请在github上面点一下star，手打不易谢谢啦，欢迎大神拍砖。

总结

以上所述是小编给大家介绍的python爬取拉勾网职位数据的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

python爬取拉勾网,python爬取数据,python爬取拉勾网数据

标签：

python爬取拉勾网,python爬取数据,python爬取拉勾网数据

免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

评论“python爬取拉勾网职位数据的方法”

python爬取拉勾网职位数据的方法

暂无“python爬取拉勾网职位数据的方法”评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新动态

20240901

python爬取拉勾网职位数据的方法

python爬取拉勾网,python爬取数据,python爬取拉勾网数据

http请求 request失败自动重新尝试代码示例

Python实现PS图像调整颜色梯度效果示例

评论“python爬取拉勾网职位数据的方法”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新动态

友情链接