数据解析

在爬取网页后，通常需要将爬取到的内容进行分割提取，拿到我们想要的文本内容或者相应的地址url。

bs4数据解析

安装bs4模块，并导入

from bs4 import BeautifulSoup

步骤详情见注释

fp =open(/.test.html,r,encoding=utf-8)
#将本地的html文档中的数据记载到该对象中
soup =BeautifulSoup(fp,lxml)
print(soup.a)# 结果拿到a标签内容           soup.tagname 返回的是HTML中第一次出现的tagname标签
print(soup.div)#拿到第一个div标签

print(soup.find(div))#相当于soup.div
print(soup.find(div,class_=xxx)) #定位class=xxx的div标签
print(soup.find_all(a))#  返回所有的a标签



#返回的是一个列表 select（某种选择器（id ，class，标签..选择器））

#层级选择器
print(soup.select(.tang>ul>li>a)[0])#  tang下面的ul下面的li标签下面的a标签的第一个
print(soup.select(.tang>ul> a)[0])#  空格表示多个层级  直接难道a标签

#获取标签中的文本数据soup.a.text/string/get_text()
print(soup.select(.tang>ul> a)[0].text)
print(soup.select(.tang>ul> a)[0].string)#只获取直系
print(soup.select(.tang>ul> a)[0].get_text())  # text/get_text获取标签中所有的文本内容  （即使不是直系）
#获取标签属性
print(soup.select(.tang>ul> a)[0][href])#获取href值

xpath模块

xpath解析 1 实例化一个etree对象，且需要将被解析的页面源码数据加载到该对象中 2 调用etree对象中的xpath表达式实现标签的定位和内容的捕获 pip install lxml from lxml import etree 1 将本地的html文档中的源码数据加载到etree中 etree.parse(filePath） 2可以将互联网上获取的源码数据加载到该对象中 etree.HTML(‘page_text’) xpath(‘xpath表达式’)

from lxml import etree


tree=etree.parse(test.html)
#最左侧/表示从根节点开始
print(tree.xpath(/html/head/title))# 列表存储对象对应于title标签的文本内容
r=tree.xpath(/html/body/div)#假如文件中有三组div，则列表中有三个对象
r1=tree.xpath(/html//div)#//表示多个层级
r2 = tree.xpath(//div)  #//表示从任意位置开始定位
r3 = tree.xpath(//div[@class="song"])#  属性为song的div
r4 = tree.xpath(//div[@class="song"]/p[3])#  属性为song的div下的第三个p标签
r5 = tree.xpath(//div[@class="tang"]//li[5]/a/text())#第五个li标签下的a标签的文本 列表形式
r6= tree.xpath(//div[@class="tang"]//li[5]/a/text())[0]#第五个li标签下的a标签的文本 文本
r7 = tree.xpath(//div[@class="tang"]//li[5]//text())#非直系文本内容
r8 = tree.xpath(//div[@class="song"]/img/@src)#img标签下的地址thon

爬取起点月票榜单

import requests
from lxml import etree

headers={
          
   
    User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36}

url=https://www.qidian.com/rank/yuepiao
page_text=requests.get(url=url,headers=headers).text
print(page_text)
tree=etree.HTML(page_text)
li_list=tree.xpath(//div[@main-content-wrap]//div[@rank-body]//div[@book-img-text]/ul/li)

fp=open(qidian.txt,w,encoding=utf-8)
for li in li_list:

    title=li.xpath(./div[2]/h4/a/text())
    print(title)
    fp.write(title+
)