爬虫实战-疫情数据获取

废话不多说,下面讲解一下爬取的过程:

一、抓包获得数据接口

经过分析,我找到了疫情数据返回的接口,红框部分对应我们需要查询的省份和城市。

嗯,返回的数据还是json格式的,那解析过程就很简单了~~

二、获取并解析数据

唐丁将江苏所有的城市放在字典里,分别向接口查询这些城市的信息,因为我发现返回的数据时相应城市一个月左右的数据,所以我每次只提取当天部分的数据。具体代码如下:

三、将数据分批存入数据库

由于接口返回的数据包括现有确诊数、死亡数、治愈数、疑似数等,因此唐丁在数据库的表中也建立了相应的字段用来存储这些数据:

这是唐丁从8月初以来获取的江苏疫情数据,后面我会将其用一些图表进行可视化展示。

四、邮件自动发送疫情数据

唐丁将疫情数据爬取系统部署在了服务器,每天9点半、13点、20点定时获取更新数据。一旦有更新数据便会自动同步发送到我的邮箱,这样我就可以很方便的知道每天的疫情数据了~~

经验分享 程序员 微信小程序 职场和发展