Python爬虫实例_利用百度地图API批量获取城市所有的POI点

http://api.map.baidu.com/place/v2/search"" src="/UploadFiles/2021-04-08/20180110101646.jpg">

上图是将返回的json数据解析之后的结果，可以看到，服务器返回了10条北京市的饭店的信息，包括饭店名称、经纬度、地址、联系电话等。
具体的参数设置，自行去该网页去看吧，这里就不再赘述，这里我们主要利用“矩形检索”的方式来获取整个城市的特定POI信息，其url格式如下：


http://api.map.baidu.com/place/v2/search"" src="/UploadFiles/2021-04-08/20180110101657.jpg">

通过实验可以发现，一个矩阵区域最多返回400(20*20)个POI点，即page_size = 20 & page_total = 20，虽然官方文档里说一个区域返回760+都不成问题的，但是测试了一下，发现并没有这么多，最多400个。

显然，整个城市不可能仅400个特定描述的POI点，所以我们需要对整个城市进行分片操作，然后每片进行访问，通过Python的循环实现。
（3）获取城市特定POI点集合
比如：我们想获取北京市四环以内所有饭店的信息，即可通过上述步骤借助Python快速实现，废话不多说，直接上代码：


# -*- coding: utf-8 -*-
# Python 2.7
# 提取城市的POI点信息并将其保存至MongoDB数据库
import urllib2 
import json 
from pymongo import MongoClient
left_bottom = [116.282387,39.835862]; # 设置区域左下角坐标（百度坐标系）
right_top = [116.497405,39.996569]; # 设置区域右上角坐标（百度坐标系）
part_n = 2; # 设置区域网格（2*2）
client = MongoClient('localhost',27001)
db = client.transdata
db.authenticate("user", "password")
col = db.taxi; # 连接集合
url0 = 'http://api.map.baidu.com/place/v2/search"" src="/UploadFiles/2021-04-08/20180110101714.jpg">


可以看到，我们将北京市四环以内区域分成4个切片来进行处理，之所以分切片处理，主要是单个区域访问最多返回400个结果，当区域较大的时候，区域内往往不止400个，所以讲大区域进行切片处理，最后，我们通过数据聚合操作，发现返回的结果总共1014个。（理论上应该返回1600，实际返回1014，说明切片的数量是合适的）

好的，我们本篇的分享到这里就要结束了，最后只想说，API真的是个好东西，科学地使用它我们可以做出很多炫酷的应用，像现在比较活跃的数据型应用，其数据接口基本都是基于API形式的，后面的分享我们还会用到更多API的，大家一起期待吧，哈哈，今天就到这里了，各位回见。

                                
                                

                                    Python,爬虫,百度地图,API,批量获取,城市,POI点 
                                

                                    标签：
                                        
Python,爬虫,百度地图,API,批量获取,城市,POI点