Python开发【爬虫】入门
网络爬虫
1.爬虫是什么？一段程序（一个脚本） 2.爬虫能干什么？自动批量的采集所需要的资源 3.运行模式是什么？模拟浏览器浏览网页 定义：一个能够模拟浏览器浏览网页自动的采集所需要的资源的程序（脚本） 网路资源：网络资源主要是指借助于网络环境可以利用的各种信息资源的总和。网络资源又称网络信息资源。 种类：网页，图片，视频，视频，音频，文件等。 网页请求方式：客户端（浏览器）通过URL（统一资源定位符）来向服务器发送http请求，服务器收到请求后向客户端发出http响应。客户端收到响应后通过网页界面形式展现出来。 爬虫的开发步骤：1.目标数据:先明确需要从网络或者页面爬取的数据（资源） 2.分析数据加载流程：分析目标数据对应的URL，并提取出来（难点） 3.下载数据（将所需要的数据下载下来，以便处理） 4.清洗，处理数据 5.数据持久化 （难点在于分析目标数据URL，并提取出来，需要具有一定前端基础） 网页分析工具：打开目标数据界面，F12，打开开发者工具，刷新网页，在Elements中即可看到网页的前端代码，根据代码分析； 在Network界面，有Headers，Resquents。Cookies等信息，以便爬虫使用。
