首页 > 代码库 > 利用transfer_pool进行批量并发下载
利用transfer_pool进行批量并发下载
TBOX提供上层高度封装的传输池来进行客户端的并发批量下载、上传、文件复制、socket数据透传等io传输需求。
投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话,例如客户端应用,那么使用全局的tb_transfer_pool()就足够了。
全局的transfer_pool使用了全局的tb_aicp(),并且考虑到大部分客户端应用,并发量不是很高,因此对资源需求做了些限制,一般比较适合并发量小于100的场合。
如果需要高并发的情况,则可以通过tb_transfer_pool_init、tb_aicp_init手动创建:transfer_pool和aicp,指定aicp需要的并发量,来提高并发需求。
如果要对每个io传输更加灵活的控制,可以直接使用async_transfer,自己上层做管理就行了。
// 传输信息回调函数 static tb_bool_t tb_demo_transfer_done_func(tb_size_t state, tb_hize_t offset, tb_hong_t size, tb_hize_t save, tb_size_t rate, tb_cpointer_t priv) { // 计算进度 tb_size_t percent = 0; if (size > 0) percent = (tb_size_t)((offset * 100) / size); else if (state == TB_STATE_OK) percent = 100; // 打印信息 tb_trace_i("save[%s]: %llu, rate: %lu bytes/s, percent: %lu%%, state: %s", priv, save, rate, percent, tb_state_cstr(state)); // 继续下载 return tb_true; } // 投递几个http下载任务 tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file1", "/tmp/a", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file2", "/tmp/b", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个https下载任务 tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file3", "/tmp/c", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file4", "/tmp/d", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/e", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file2", "/tmp/f", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递几个文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/g", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 在windows下投递文件copy任务 tb_transfer_pool_done(tb_transfer_pool(), "c://xxxx/file2", "c://tmp/h", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递tcp socket传输任务 tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1", "/tmp/i", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); // 投递udp socket传输数据到其他对方tcp socket服务器上 tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1/?udp=", "sock://xxx.xxx.xxx.xxx", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null)); /*! 投递异步io传输任务到传输池:iurl => ourl * * @param pool 传输池,默认可以使用全局的tb_transfer_pool(),也可以自己创建私有的pool * @param iurl 输入url * @param ourl 输出url * @param offset 源端开始传输的数据offset,一般只要传0就行了 * @param rate 指定限速值,传0为默认无限速 * @param done 传输信息回调函数,间隔1s调用一次 * @param ctrl 控制参数设置回调函数,在开始传输前,对io的传输做一些参数控制 * @param priv 用户传入的私有数据 * * @return 投递成功:tb_true,投递失败:tb_false */ tb_bool_t tb_transfer_pool_done(tb_transfer_pool_ref_t pool, tb_char_t const* iurl, tb_char_t const* ourl, tb_hize_t offset, tb_size_t rate, tb_async_transfer_done_func_t done, tb_async_transfer_ctrl_func_t ctrl, tb_cpointer_t priv);
其中对于传输参数控制的回调函数使用,可以参考TBOX提供的spider demo程序。
- TBOX项目详情
- TBOX项目源码
- TBOX项目文档
利用transfer_pool进行批量并发下载
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。