首页 > 代码库 > php使用gearman进行任务分发

php使用gearman进行任务分发

一、安装gearman

下载gearman源码包

https://launchpad.net/gearmand/+download

如: gearmand-1.1.12.tar.gz

下载php的gearman扩展包

http://pecl.php.net/package/gearman

如: gearman-1.1.2.tgz

安装gearman

> yum install boost-devel gperf libevent-devel libuuid-devel> tar xf gearmand-1.1.12.tar.gz> cd gearmand-1.1.12> ./configure> make && make install

安装gearman的php扩展(建议php版本不要过高,因为php7的gearman扩展目前还没有出来)

> yum install autoconf> tar xf gearman-1.1.2.tgz> cd gearman-1.1.2> /data/php56/bin/phpize> ./configure --with-php-config=/data/php56/bin/php-config> make && make install

修改php.ini

> vi /data/php56/lib/php.ini

添加如下两项

extension_dir=/data/php56/lib/php/extensions/no-debug-zts-20131226/extension=gearman.so

查看扩展

> /data/php56/bin/php -m

  

二、简单的使用gearman

gearman中请求的处理过程一般涉及三种角色:client->job->worker
其中client是请求的发起者
job是请求的调度者,用于把客户的请求分发到不同的worker上进行工作
worker是请求的处理者

比如这里我们要处理client向job发送一个请求,来计算两个数之和,job负责调度worker来具体实现计算两数之和。

首先我们编写client.php

<?php//创建一个客户端$client = new GearmanClient();//添加一个job服务$client->addServer(‘127.0.0.1‘, 4730);//doNormal是同步的,等待worker处理完成返回结果//建议不要使用do()了$ret = $client->doNormal(‘sum‘, serialize(array(10, 10)));if($ret) {    echo ‘计算结果:‘, $ret, "\n";}

再编写worker.php

<?php//创建一个worker$worker = new GearmanWorker();//添加一个job服务$worker->addServer(‘127.0.0.1‘, 4730);//注册一个回调函数,用于业务处理$worker->addFunction(‘sum‘, function($job) {    //workload()获取客户端发送来的序列化数据    $data = http://www.mamicode.com/unserialize($job->workload());>

我们先启动gearmand服务

> mkdir -p /usr/local/var/log> gearmand -d

运行worker文件

> /data/php56/bin/php /data/worker.php

再运行client文件

> /data/php56/bin/php /data/client.php

结果如下:

技术分享

 

三、gearman异步的处理任务

这里我们client向job发送一个发送邮件的请求,不等待请求完成,继续向下执行。

client.php代码如下:

<?php//创建一个客户端$client = new GearmanClient();//添加一个job服务$client->addServer(‘127.0.0.1‘, 4730);//doBackground异步,返回提交任务的句柄$ret = $client->doBackground(‘sendEmail‘, json_encode(array(    ‘email‘ => ‘test@qq.com‘,    ‘title‘ => ‘测试异步‘,    ‘body‘ => ‘异步执行好牛B的样子‘,)));//继续执行下面的代码echo "我的内心毫无波动,甚至还想笑\n";do {    sleep(1);    //获取任务句柄的状态    //jobStatus返回的是一个数组    //第一个,表示工作是否已经知道    //第二个,工作是否在运行    //第三和第四,分别对应完成百分比的分子与分母    $status = $client->jobStatus($ret);        echo "完成情况:{$status[2]}/{$status[3]}\n";    if(!$status[1]) {        break;    }} while(true);

worker.php代码如下:

<?php//创建一个worker$worker = new GearmanWorker();//添加一个job服务$worker->addServer(‘127.0.0.1‘, 4730);//注册一个回调函数,用于业务处理$worker->addFunction(‘sendEmail‘, function($job) {    //workload()获取客户端发送来的序列化数据    $data = http://www.mamicode.com/json_decode($job->workload(), true);"发送{$data[‘email‘]}邮件成功\n";});//死循环//等待job提交的任务while($worker->work());  

结果如下:

技术分享

 

四、gearman并行的执行多个任务

我们如何并行的计算两个数的累加和? 通过addTask添加多个任务到队列,然后进行并行计算。

client.php代码如下:

<?php//创建一个客户端$client = new GearmanClient();//添加一个job服务$client->addServer(‘127.0.0.1‘, 4730);//设置任务完成时的回调函数$client->setCompleteCallback(function($task) {    //获取由worker返回的数据    echo $task->data(), "\n";});//计算1到500的累加和//添加五个任务到队列$client->addTask(‘sum‘, json_encode(array(1, 100)));$client->addTask(‘sum‘, json_encode(array(100, 200)));$client->addTask(‘sum‘, json_encode(array(200, 300)));$client->addTask(‘sum‘, json_encode(array(300, 400)));$client->addTask(‘sum‘, json_encode(array(400, 500)));//运行队列中的任务,do系列不需要runTask()$client->runTasks();

worker.php代码如下:

<?php//创建一个worker$worker = new GearmanWorker();//添加一个job服务$worker->addServer(‘127.0.0.1‘, 4730);//注册一个回调函数,用于业务处理$worker->addFunction(‘sum‘, function($job) {    //workload()获取客户端发送来的序列化数据    $data = http://www.mamicode.com/json_decode($job->workload(), true);>

我们开启5个worker工作进程,当运行客户端请求时,5个计算任务几乎是同时返回结果。

结果如下:

技术分享

技术分享

php使用gearman进行任务分发