Python 爬虫知识简述（bs4解析与xpath）

Python 爬虫知识简述（bs4解析与xpath）

bs4数据解析

-数据解析的原理 1.实例化一个BeautifulSoup对象，并且将页码数据加载到该对象中 2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取 -环境安装

pip install bs4
  pip install lxml

-如何实例化BeautifulSoup对象

-from bs4 import BeautifulSoup
**-对象实例化：**
    -1.将本地的html文档中的数据加载到该对象中
        打开文件
        fp=open(,r,encoding=utf-8)
        加载到对象中(加载和实例化并行)
        soup=BeautifulSoup(fp,lxml)
    -2.将互联网上获取的页面源码加载到该对象中
        page_text=response.text
        soup=BeautifulSoup(page_text,lxml)
-提供的用于数据解析的方法和属性：
    -soup.tagName:
      返回的时文档中第一次出现的tagName对应的标签
    -soup.find:
      find(tagName)=soup.tagName
      属性定位：find(tagName,class_=song) 定位到具体的属性（class_/id/attr）
    -soup.fing_all(tagName):
      查找对象中所有的tagName  
    -soup.select():  
      -select(某种选择器（class,id,标签。。。选择器）),返回的是一个列表
      例如：select(.tang)class选择器
      -层级选择器：
      soup.select(body>p)[2] 
      可以层层筛选，返回的是一个列表，可以通过下标具体定位
      空隔表示多个层级，大于号（>）表示一个层级
    -获取标签之间的文本数据：
      -soup.a.text/string/get_text()
      -text/get_text():可以获取某一个标签中所有的文本内容，即使不属于直系文本内容
      -string:只能获取该标签下的文本内容
    -获取标签中的属性值： 
      例如：
      -soup.a[href]

-Xpath解析：

-Xpath解析原理： -1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 -2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

-环境的安装：

-pip install lxml

-实例化etree对象: from lxml import etree -1.将本地的html文档中的源码数据加载到etree对象中 etree.parse(filePath) -2.将互联网上获取的页面源码加载到该对象中 etree.HYML(‘page_text’) -xpath(‘xpath表达式’) - / :表示从根节点开始定位，表示的是一个层级 - //：表示的是多个层级 例：xpath(’/html/body/div’)=(‘html//div’)=(’//div’) -属性定位： xpath(’//div[@class=‘song’]’)定位到class为song的具体div -索引定位： xpath(’//div[@class=‘song’]/p[3]’) 定位到class为song的具体div下第三个p标签 -取文本：text() xpath(’//div[@class=‘song’]//li[3]/a/text()’)[0] 定位到class为song的div下，越级（多级）后的第三个li标签里的a标签里面的文本，因返回值为一个列表，所以加[0]可已去掉列表框 注：只能获取标签中直系的文本，若要越标签获取如

春天中的文本，应采用 //text 如：xpath(’//li[2]//text()’),可获取标签中所有非直系的文本内容 -取属性值： xpath(’//div[@class=‘song’]//li[2]/img/@src’) 定位到img标签下的src属性值 /* *本博客仅用于博主记录学习 *若有疏漏或错误的地方，望指正 */