【Python学习】Day-025 爬虫、requests基本用法
1. 爬虫介绍
爬虫用来获取网络数据(公开的数据) 爬虫的基本流程
-
第一步：获取网络数据(requests、selenium) 第二步：解析数据-从获取到的网络数据中提取有效数据（正则、bs4、lxml） 第三步：保存数据(csv、excel、数据等)
2. requests
2.1 什么是requests
-
Python中获取网络数据的第三方库(基于http或者https协议的网络请求) 爬虫使用requests的两个场景：直接请求网页地址、对提供网页数据的数据接口发送请求
2.2 requests基本用法
对目标网页直接发送请求: requests.get(网页地址) - 获取指定页面的数据返回一个响应对象
import requests response = requests.get(https://cd.zu.ke.com/zufang) print(response) # 获取响应的状态码 print(response.status_code) # 获取响应头 print(response.headers) # 请求内容（返回的真正有用的数据） """ response.content - 二进制类型的数据(图片、视频、音频等， 例如：图片下载) response.text - 字符串类型的数据(网页) response.json() - 对请求内容做完json解析后的数据（json数据接口） """
