用python爬取豆瓣电影排行，并将电影的相关信息存储到csv文件中

目录

案例1：直接解析

爬取豆瓣电影分类排行榜信息，我们发现网页源代码并不包含排行的电影信息，使用抓包工具获得url等相关信息，并编写代码

编写代码如下，没有用到解析源码的过程：

# coding=utf-8
import requests
import csv
if __name__ == "__main__":
    post_url = https://movie.douban.com/j/chart/top_list
    headers = {
        User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40
    }
    param = {
        type: 13,
        interval_id: 100:90,
        action:,
        start: 0,    #从第几部电影开始去取
        limit: 250,       #一次取多少个
    }
    reps = requests.get(url=post_url,params=param,headers=headers)
    list_data = reps.json()
    #创建空字典存储爬取数据
    dic = {}
    #创建csv文件存储
    f = open("DouBanData.csv", mode=w, newline=)
    csvwriter = csv.writer(f)
    #for循环从列表中提取字典的键值
    for dicnum in list_data:
        dic[排名] = dicnum[rank]
        dic[电影名] = dicnum[title]
        dic[上映时间] = dicnum[release_date]
        dic[评论数] = dicnum[vote_count]
        dic[评分] = dicnum[score]
        #print(dic)
        csvwriter.writerow(dic.values())
    f.close()

    print(----over!!------)

得到的csv文件内容如下，爬取了爱情类型排行前250的电影

案例2：正则表达式

爬取豆瓣电影Top250的数据，使用正则来解析网页

爬取的时候注意区分预览数据和响应数据（拿到的数据），以及元素和源代码的区别，元素是源代码渲染的结果。

爬取Top250电影的排名、网址、上映时间、评分和评论数的代码如下：

# 拿到页面源代码,通过re来提取想要的信息
import requests
import re
import csv

if __name__ == "__main__":
    header = {
        "User-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"
    }
    url = "https://movie.douban.com/top250"
    #通过循环控制start参数信息，来获取不同页面的电影信息
    for num in range(0,256,25):
        data = {
            start: num,
            filter: ,
        }
        resp = requests.get(url=url,params=data,headers=header)
        page_content = resp.text

        #解析数据
        obj = re.compile(r<li>.*?<div class="item">.*?<em class="">(?P<rank>.*?)</em>
                         r.*?<div class="info">.*?<div class="hd">.*?<a href="(?P<website>.*?)" class="">
                         r.*?<span class="title">(?P<name>.*?)</span>
                         r.*?<div class="bd">.*?<br>.*?(?P<year>.*?)&nbsp
                         r.*?</span>.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>
                         r.*?<span>(?P<num>.*?)</span>,re.S)
        result = obj.finditer(page_content)

        f = open("movieTop250_Data.csv",mode = a+,newline=)
        csvwriter = csv.writer(f)

        dic = {}
        for it in result:
            #字典存储数据，scv文件是以，分割，方便后面进行数据分析
            dic = it.groupdict()
            dic[year] = dic[year].strip()
            csvwriter.writerow(dic.values())

    f.close()
    print("---------over!!!----------")

保存得到的csv文件内容如下：