README

master worker模型
参考iphp框架实现

使用

安装

composer require wuzehv/phpmw

使用

include_once "vendor/autoload.php";

// 继承抽象类
class Test extends \PhpMw\BaseMasterWorker
{
    // 添加任务
    function master()
    {
        for ($i = 0; $i < 200; $i++) {
            $this->addJob($i);
        }
    }

    // 处理任务
    function worker($job)
    {
        usleep(100);
        echo $job, PHP_EOL;
    }
}

$obj = new Test();

// 设置进程数，默认8个
$obj->setWorkerNum(5);

$obj->run();

实现原理

进程间通信采用socket

启动主进程，作为manager，监听随机端口
启动master进程，连接manager
启动多个worker进程，连接manager
调用run方法后，内部调用业务方实现的master方法，添加任务给manager
manager将任务分发给空闲的worker进程，worker进程调用业务方实现的worker方法
任务处理完成，所有进程退出

可能遇到的问题

僵尸进程

master添加完任务后就会退出，在程序退出之前会作为僵尸进程存在
worker进程如果出现致命错误，会作为僵尸进程存在，也即不能处理任何请求

最终都会被主进程回收

如何kill所有的进程

直接kill主进程pid即可，因为程序内部做了SIGINT、SIGTERM信号处理，信号处理器会系统调用kill -KILL pid强制杀死所有子进程

理论上不需要执行类似这种命令ps -ef | grep ...... | awk '{print $2}' | xargs kill -9

进程树查看

htop
ps -fS | grep ......
pstree -p pid

Too many open files

这个错误是进程文件描述符个数限制，查看设置ulimit -n

异常处理

master方法内的异常会导致master进程退出，已添加的任务会继续执行，直至退出
worker进程内的异常会被捕获，但是不会产生任何错误输出，所以需要业务方务必自行捕获异常

job少，worker进程多

执行过程中，master进程会迅速执行完毕并发送退出信息，socket_select获取到master退出信息，在所有任务分发完成后，manager从select的死循环break，之后会调用quitAll方法，多于的worker进程会结束，执行中的worker会继续执行，直至完成退出

job多，worker进程少

job生成时，master会写入大量job到socket，worker会慢慢进行处理，此时master进程和worker进程会同时存在

在worker进程都在工作的时候，socket_select会暂时不监听master进程套接字，直至有worker进程空闲，从而实现进程的分发

wuzehv / phpmw

Maintainers

Details