爬取百度地图 POI 数据
初衷
老婆大人想知道金华地区的早教、培训机构相关的情况，老办法，爬起来。
百度地图api的限制
查找了下大家获取百度POI数据的方法，知道了百度地图的地点检索api做了几个限制：
-
非认证个人开发者2k每日请求量，认证后个人开发者3w日请求量 检索接口最大返回670条结果 地点检索api分两类接口，一类是区域检索，第二类是详情检索，也就是说，如果我需要对每个地点去做详情检索，那就算3w的日请求量也远远不够了。好在我看区域检索接口内也可以返回较为详细的内容，基本够用。还有一个坑是区域检索接口是分页返回的，每页最多20条，所以这会消耗请求量。这里不考虑这些限制，大不了多跑几天。
实施方法
由于检索接口一次最多能返回670条数据，所以有个策略就是使用矩形检索接口，将矩形区域缩小到一定程度后，该区域的返回条目数不超过670条就可以，当然也不要太小，太小浪费请求量。
我先用一个大矩形划定我关心的区域，然后找到左上角和右下角的坐标：（这个可以手动从百度地图web站上获取到） 左下角，石门村：13312800.93，3357744.44 右上角，横山村：13334828.53，3373640.97
我们先设计10*10个小矩形来扫描。为了第二天继续爬取，每次移动记录当前矩形的位置。为了观察是否可能由于矩形过小导致数据丢失，记录每个矩形的获取数目，当等于670条时，可以重新细分扫描该类矩形区域。
注意 ：上面拿到的坐标是百度地图米制坐标，需要转换成百度经纬度坐标才能用于检索api，转换api地址：
编码
由于是纯api爬取，就不上框架了。
结果
发现我的需求，只要10*10就已经够用了。其实可以通过配置变量，查询想要查询的任何内容了。哔哔哔。。
初衷 老婆大人想知道金华地区的早教、培训机构相关的情况，老办法，爬起来。 百度地图api的限制 查找了下大家获取百度POI数据的方法，知道了百度地图的地点检索api做了几个限制： 非认证个人开发者2k每日请求量，认证后个人开发者3w日请求量 检索接口最大返回670条结果 地点检索api分两类接口，一类是区域检索，第二类是详情检索，也就是说，如果我需要对每个地点去做详情检索，那就算3w的日请求量也远远不够了。好在我看区域检索接口内也可以返回较为详细的内容，基本够用。还有一个坑是区域检索接口是分页返回的，每页最多20条，所以这会消耗请求量。这里不考虑这些限制，大不了多跑几天。 实施方法 由于检索接口一次最多能返回670条数据，所以有个策略就是使用矩形检索接口，将矩形区域缩小到一定程度后，该区域的返回条目数不超过670条就可以，当然也不要太小，太小浪费请求量。 我先用一个大矩形划定我关心的区域，然后找到左上角和右下角的坐标：（这个可以手动从百度地图web站上获取到） 左下角，石门村：13312800.93，3357744.44 右上角，横山村：13334828.53，3373640.97 我们先设计10*10个小矩形来扫描。为了第二天继续爬取，每次移动记录当前矩形的位置。为了观察是否可能由于矩形过小导致数据丢失，记录每个矩形的获取数目，当等于670条时，可以重新细分扫描该类矩形区域。 注意 ：上面拿到的坐标是百度地图米制坐标，需要转换成百度经纬度坐标才能用于检索api，转换api地址： 编码 由于是纯api爬取，就不上框架了。 结果 发现我的需求，只要10*10就已经够用了。其实可以通过配置变量，查询想要查询的任何内容了。哔哔哔。。