多进程使用注意点

1.多进程说明 进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。

2.使用多进程后的通信 多进程中使用普通的队列模块无法实现进程间的通讯，因为进程是系统分配资源的基本单元. 对应的需要使用multiprocessing提供的JoinableQueue模块，其使用过程和在线程中使用的queue方法相同

案列使用说明

queue = Queue() # 普通队列无法实现多进程间通信

多进程中要使用multiprocessing.JoinableQueue

from multiprocessing import Process import multiprocessing queue = multiprocessing.JoinableQueue()

def add_to_queue(): for i in range(0, 10): print(“向队列中添加: {}”.format(i)) queue.put(i)

def get_queue(): for i in range(0, 10): print(‘从队列中获取: {}’.format(queue.get())) queue.task_done()

p = Process(target=add_to_queue) p.daemon = True p.start()

p = Process(target=get_queue) p.daemon = True p.start()

让任务能够开始执行

time.sleep(0.01) queue.join() 3. 实现多进程的糗事百科爬虫 把多线程版修改多进程版:

把原来的threading.Thread修改为multiprocessing.Process 把queue.Queue修改为multiprocessing.JoinableQueue

代码

import requests
from lxml import etree
import json
from multiprocessing import JoinableQueue
from multiprocessing import Process
import time

def run_forever(func):
    def wrapper(obj):
        while True:
            func(obj)
    return wrapper


class JiubaiSpider(object):

    def __init__(self):
        self.headers = {
            User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36
        }
        self.url_pattern = https://www.Jiushaike.com/8hr/page/{}/
        # url 队列
        self.url_queue = JoinableQueue()
        # 响应队列
        self.page_queue = JoinableQueue()
        # 数据队列
        self.data_queue = JoinableQueue()


    def add_url_to_queue(self):
        # 把URL添加url队列中
        for i in range(1, 14):
            self.url_queue.put(self.url_pattern.format(i))

    @run_forever
    def add_page_to_queue(self):
         发送请求获取数据 
        url = self.url_queue.get()
        pass
        self.url_queue.task_done()

    @run_forever
    def add_dz_to_queue(self):
        根据页面内容使用lxml解析数据, 获取段子列表
        page = self.page_queue.get()
        pass
        self.page_queue.task_done()

    def get_first_element(self, list):
        获取列表中第一个元素,如果是空列表就返回None
        return list[0] if len(list) != 0 else None

    @run_forever
    def save_dz_list(self):
        把段子信息保存到文件中
        dz_list = self.data_queue.get()
        pass
        self.data_queue.task_done()


    def run_use_more_task(self, func, count=1):
        把func放到进程中执行, count:开启多少进程执行
        for i in range(0, count):
            t = Process(target=func)
            t.daemon = True
            t.start()

    def run(self):
        # 开启线程执行上面的几个方法
        self.run_use_more_task(self.add_url_to_queue)
        self.run_use_more_task(self.add_page_to_queue, 3)
        self.run_use_more_task(self.add_dz_to_queue, 2)
        self.run_use_more_task(self.save_dz_list, 2)

        # 让主线线程等待0.001s让有时间想队列中添加数据
        time.sleep(0.001)
        # 使用队列join方法,等待队列任务都完成了才结束
        self.url_queue.join()
        self.page_queue.join()
        self.data_queue.join()

if __name__ == __main__:
    qbs = JiubaiSpider()
    qbs.run()