Win/Linux/mac下python爬虫所需安装的库
Window环境下：
由于请求库：urllib/re/requests
urllib/re是python默认自带的库，这里不演示了。
1.安装requests库。
pip3 install requests
检验 import requests
requests.get(http://www.baidu.com)
2.安装selenium
pip3 install selenium
2.1.安装chromedriver
网址：https://npm.taobao.org/
把下载完成后的压缩包解压，把exe放到D:Python3.6.0Scripts 执行下面命令弹出chrom窗口就成功了。
常用用的方法： driver.get（‘网址’） 通过chrom访问这些网址 driver.page_source 获取网页源代码。
2.2安装无界面浏览器phantomjs ，这样就可以不用总打开浏览器了。
下载网址：http://phantomjs.org/
下载完成后解压，把整个目录放到D:Python3.6.0Scripts（其实这个路径可以随意放，只有配置环境变量成功就行），把bin目录的路径添加到PATH变量，将该路径复制到path变量最后就行。
3.lxml
打开CMD
pip3 install lxml
或者从https://pypi.python.org下载，例如， () ,先下载whl文件
pip3 install whl的路径
4.
beautifulsoup
打开CMD，需要先安装好lxml
pip3 install beautifulsoup4
验证
python from bs4 import BeautifulSoup soup = BeautifulSoup(<html></html>,lxml)
5.
pyquery（类似jquery语法）
打开CMD
pip3 install pyquery
验证安装结果
from pyquery import PyQuery as pq >>> doc = pq(<html>hello</html> result=doc(html).text() >>> result hello
6. 存储库
pymysql（操作MySQL，关系型数据库）
安装：
pip3 install pymysql
验证如下：
7.
pymongo（操作MongoDB，key-value）
安装
pip3 install pymongo
这里很容易打错，看清格式（使用前记得开启MongoDB）。
python
import pymongo
client = pymongo.MongoClient(localhost)
db = client[newtestdb]
db[table].insert({name:bob})
db[table].find_one({name:bob})
8.
edis（分布式爬虫，维护爬取队列）
安装：
pip3 install redis (使用前记得开启redis)
9.
flask（WEB库）
pip3 install flask
一般导入成功了，就是成功了。不演示了。
10.
Django（分布式爬虫维护系统）
pip3 install django
11.
4.3 jupyter（运行在网页端的记事本，支持markdown，可以在网页上运行代码）
pip3 install jupyter
验证：
打开CMD
jupyter notebook
之后就可以在网页直接创建记事本，代码块和Markdown块
Linux/Mac环境下：
pip install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter
