第一章：爬虫基础-Http协议介绍

直接学习：https://edu..net/course/play/24756/280651

一、 Http协议介绍： 1、HTTP协议：全称是HyperText Transfer Protocal,中文意思是超文本传输协议，是一种发布和接收HTML（HyperText Marup Language）页面的方法。服务器端口号是80端口。 2、HTTPS协议：是HTTP协议的加密版本，在HTTP下加入了SSL层，服务器端口号是443端口。

二、URL详情： URL是Uniform Resource Locator的简称，统一资源定位符。一个URL由以下几个部分组成： scheme：// host: port/path/?query-string=xxx#anchor scheme:代表的是访问的协议，一般为HTTP或HTTPS或FTP等 host:主机名，域名，比如www.sohu.com port：端口号。当你访问一个网站的时候，浏览器默认使用80端口。 path：查找路径，比如：www.jianshu.com/trending/now,后面跟的trending/now就是path query-string:查询字符串，比如：www.baidu.com/s?wd=python,后面的wd=python就是查询字符串。 anchor：锚点，前端用来做页面定位的。现在一些前后端项目中，也用锚点做导航。

在浏览器中请求一个URL，浏览器会对这个URL进行一个编码。除英文字母，数字和部分符号外，其他的全部使用百分号+十六进制码值进行编码。 三、常见的请求method： 在http协议中，定义了八种请求方法。其中get和post请求方法最为常用。 1、get请求：一般情况下，只从服务器获取数据下来，并不会对服务器资源产生任何影响的时候会使用get请求。 2、post请求：向服务发送数据（登陆），上传文件等，会对服务器资源产生影响的时候会使用post请求。 一般情况下会遵循以上原则，特殊情况下某些网站和服务器做了反爬虫机制，有可能应给使用get 方法的请求一定要改成post请求。这个要视情况而定。

四、常见的请求头参数： 在http协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在URL里，第二个是把数据放在body里（在post请求中），第三个是把数据放在head中。这里介绍在网络爬虫经常会用到的一些请求头参数。 User-Agent：浏览器名称。 Referer:表明这个请求是从哪个URL过来的。 Cookie:用Cookie做标识，来判断两次请求是否来自同一个人，一般访问的网址需要登录，需要发送cookie信息。

五、常见的响应状态码： 200：请求正常，服务器正常返回数据。 301：永久重定向，比如访问www.jingdong.com时候会重定向到www.jd.com 302：临时重定向，比如访问一个需要登录的页面时，而此时没有登录，那么就会重定向到需要登录的页面。 400：请求的URL在服务器上找不到。 403：服务器拒绝访问，权限不够。 500：服务器内部错误，可能是服务器出bug了。