首页 > 代码库 > libcurl安装使用方法-简单实用(摘录)

libcurl安装使用方法-简单实用(摘录)

http://curl.haxx.se/libcurl/c/example.html 官网c例子
http://curl.haxx.se/download/curl-7.21.3.tar.gz 下载地址

使用方法
#tar zxvf curl-7.21.3.tar.gz
#cd curl-7.21.3
#./configure
#make
#make install
#gcc sample.c -lcurl -o sample
#./sample

 

CURL库在程序中的运用浅析
前一段时间自己写了一个抓取网页代码的类,来满目一些项目需求,结果发现并不稳定,在海量网页抓取的时候,存在一些异常导致抓取失败。虽然能满足大概的要求,但是功能上还是不能让我100%的满意,于是在站长的建议下,下载了一个CUrl通用库。
第一次写这样的文章,有失偏颇处请谅解,呵呵。
最近把CURL运用在自己的工程里,发现效果非常理想,尤其在海量数据抓取下载的时候,失败率还是非常低的,综合自己的运用,在这里抛砖引玉。在PHP上,CUrl使用的较多,但是在C++上,使用的例子较为简单,而且参考资料较少,在这里我主要想总结一下CUrl在C++下的一些运用。(百度谷歌的资料有的不是很全,在这里补完一下吧。)
Curl是一个跨平台的库,下载地址 http://curl.haxx.se/
安装的时候,如果只需要命令行工具,请编译CUrl下的src,如果需要库引用直接编译主目录下的工程也可以,工程会生成一个src\DLL-Debug的目录,拷贝出libcurl.lib和libcurl.dll。到一个空的文件夹,然后在将include\curl文件夹下的所有.h头文件拿出来放在一个文件夹中。
行了,材料齐备了,拿着这两个文件夹,按照你自己的习惯引入到你的工程项目中,就可以了。
在linux下,你可以选择创建一个build目录.
然后 $ ./configure --prefix=你创建的bulid目录,然后,make,最后在make install一下,就可以了,所有的东西都在build目录里面给你放好了。
下面说一下它的用法,其实很简单,几个关键的API,常用的不超过4个。很方便,倒是一些配置参数相对复杂,这里强烈推荐 http://curl.haxx.se/ 下的帮助页面,里面对所有参数的运用和设置说的很清楚。
恩,呵呵,先说最简单的下载网页吧。
#include "./Include/curl.h"
#include "./Include/types.h"
#include "./Include/easy.h"

这三个头文件是必须引用的。
CURL* m_pCurl;
声明一个CURL对象。这里有一个小建议,就是推荐如果你下载的是一个来源的网站地址,最好就是用一个m_pCurl,这样做的好处是,当它和网站建立链接后,会保持这个链接,如果你下载的页面都是源于此网站,它会最大程度节省你的系统资源。如果每次下载一个网页都new一个m_pCurl对象,你会在netstat -an里面看到无数Time_Wiat的链接对象,消耗资源不说其实也是没有必要的。
m_pCurl = curl_easy_init();
初始化一个Curl对象,它会生成一个CUrl的指针返回。如果返回是NULL,就是建立链接失败。其实这里失败的可能性很小,因为它只做一个初始化的动作。初始化一个soket以及一些缓冲内存Buff,一般这里如果返回为NULL,那就看看你的网卡是否有问题吧。
此后就是最关键的获取网页信息部分,先说GET,再说POST。(一些基于Https的加密传输在这里先不做讨论)
如果是一个普通的Get方法:
bool CDownIcon:ownLoadIcon(const char* pSoftid, const char* pURL)
{
CURLcode CUrlRes;
CHtmlDataBuff m_HtmlBuff;
struct curl_slist *chunk = NULL;

if(m_pCurl != NULL)
{
chunk = curl_slist_append(chunk, "Accept-Encoding: gzip, deflate");
chunk = curl_slist_append(chunk, "User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; CIBA)");
chunk = curl_slist_append(chunk, "Connection: Keep-Alive");

//下载文件
curl_easy_setopt(m_pCurl, CURLOPT_HTTPHEADER, chunk);
curl_easy_setopt(m_pCurl, CURLOPT_TIMEOUT, 120);
curl_easy_setopt(m_pCurl, CURLOPT_URL, pURL);
curl_easy_setopt(m_pCurl, CURLOPT_WRITEFUNCTION, Url_IconWrite);
curl_easy_setopt(m_pCurl, CURLOPT_WRITEDATA, &m_HtmlBuff);

CUrlRes = curl_easy_perform(m_pCurl);
if(CUrlRes == CURLE_OK)
{
//网页下载成功,下载后的网页存在我的CHtmlDataBuff 对象里面,其实这个很简单,如果不涉及到gzip等一些压缩格式的下载,你完全可以用一个string去替代我的CHtmlDataBuff
}

curl_slist_free_all(chunk);
return FTPUpload(pSoftid);
}
else
{
return false;
}
}
如上所述,我一点点解释上面在干什么,呵呵。
首先curl_slist_append()函数是很有用的,因为如果你什么都不写,CUrl会传输一个类似"Get /你的网页 accept: */*"之类的简单协议,在某些验证较为严格的服务器,这样的Http链接协议字会被丢弃的。也就是说啥都不给你返回,不够千万不要郁闷,Curl的设计者早就给你想好了,curl_slist_append()这个API可以让你伪装成一个标准的网页浏览器的请求,诚然,你们也看到了,我追加了一些Http的选项,这些选项将会附加在你的Http请求中。这样就能顺利的通过那些严格验证的服务器,让它给你返回正确的数据。当然,这里的前提是你必须对Http 1.1协议有一些了解。
curl_easy_setopt(m_pCurl, CURLOPT_HTTPHEADER, chunk);
这个API是CUrl的设置选项,你可以通过它设置几乎上百个CUrl控制选项。这里只讨论最常用的几个,如果想继续深入,请去 http://curl.haxx.se/ 这里有完整的解释。(当然你的E文要足够过关)
这句话的意思是,将chunk设置的字符串,附加到Http请求消息头上。
curl_easy_setopt(m_pCurl, CURLOPT_TIMEOUT, 120);
这句话的意思是,设置超时时间,如果服务器在120秒不返回,Curl就会触发一个TimeOUT错误。这里建议设置,防止你的代码在某些特殊时刻无限的等待服务器的返回。
curl_easy_setopt(m_pCurl, CURLOPT_URL, pURL);
pURL就是你的网页地址,比如"Http://www.google.com/",当然,不仅仅是可以网页,也可以是Js,jpg等等文件,比如"http://www.163.com/1.jpg"这样也是可以的。实际上说CURLOPT_URL有些狭隘,它可以下载任何url链接可以指向的东西。包括图片以及swf等。
curl_easy_setopt(m_pCurl, CURLOPT_WRITEFUNCTION, Url_IconWrite);
curl_easy_setopt(m_pCurl, CURLOPT_WRITEDATA, &m_HtmlBuff);
接下来是这两句,Url_IconWrite其实是一个回调接口,可能你会问,为什么要这么做呢?我只要网页本身的东西就好了,呵呵,这样做其实为了服务另一个目的,那就是下载进度,你看见很多浏览器有一个下载进度条在走吧,呵呵,对了,通过这个回调函数,你可以设计你的下载进度条,它会给你下载此时此刻的进度和数据块,尤其在支持chunk模式传输返回协议的时候,它会根据每次chunk触发若干次回调。
CURLOPT_WRITEDATA选项是指定一个对象,用于你在回调函数的时候将收到的数据片拼接成一个完整的。
int Url_IconWrite(void *buffer, size_t size, size_t nmemb, void *stream)
{
size_t stDataLen = size * nmemb;
char* pData = http://www.mamicode.com/new char[stDataLen];
if(NULL == pData)
{
return 0; //返回错误,触发接收失败,停止接收。
}
CHtmlDataBuff* pHtmlDataBuff = (CHtmlDataBuff* )stream;

memcpy(szData, (char* )buffer, stDataLen);

pHtmlDataBuff->AddData(pData, (int)stDataLen); //将数据包一个个的粘起来,这里可以用你自己的方法。

delete[] pData;

return stDataLen;
}
这个就是绑定的回调函数的写法,当然Url_IconWrite是我起的,你可以用你自己喜欢的名字。
pHtmlDataBuff->AddData(szData, (int)stDataLen);这句话其实就是为了将我收到的数据包拼装在一起。你可以根据你的逻辑自己写一个这样的东西,亦或简单的用一个string +=之类的也行。
buffer是当前数据块的指针,size * nmemb是当前数据的长度,stream其实就是你用CURLOPT_WRITEDATA绑定的对象。
好了,继续说。
CUrlRes = curl_easy_perform(m_pCurl);
这句话就是开始执行你的url下载活动,他返回一个CUrlRes 对象,其实感觉是一个int,如果成功,会返回一个CURLE_OK标记,反之,会给你一个数字,你可以在curl.h里面找到对应的解释。
当你一次抓取执行完毕,你必须设置curl_slist_free_all(chunk);除非你的chunk在下次使用的时候和以前一样,则不必做这样的操作。但是最终你必须curl_slist_free_all(chunk);否则会有内存泄露。
最后,当你执行完你的网页抓取,一定不要忘了curl_easy_cleanup(m_pCurl);释放你这个对象,否则同理,你的内存会泄露。
好了,以上是一个标准的url文件下载或者网页抓取的代码。当然是GET方式的。
接下来说POST,其实也很简单,只要稍微修改一点地方就可以实现POST。
curl_easy_setopt(pCurl, CURLOPT_POST, 8080);
curl_easy_setopt(pCurl, CURLOPT_POSTFIELDS, szData);
CURLOPT_POST参数设置的是你的PSOT端口地址,比如我的例子是8080。
CURLOPT_POSTFIELDS参数附加的是你的具体POST的数据内容,你可以自己去组成这部分。
当然,一般POST协议的时候,最好附加一个chunk。
m_chunk = curl_slist_append(m_chunk, “Content-Length: XXXXX”); XXXXX为你的POST数据的长度。否则有些服务器可能会认为你的请求非法。
好了,再说一个有意思的运用。
FTP作为服务器而言,现在用在很多地方。
那么如何用CUrl做一个FTP的请求呢?这里也是可以的。(下载很容易的,说一下比较复杂的上传吧。)
以代码为例:
bool CDownIcon::FTPUpload(const char* pSoftid)
{
CURLcode CUrlRes;
char szServerPath[HTTP_ICONMAX_1024] = {‘\0‘};

sprintf(szServerPath, "ftp://127.0.0.1/%s", pSoftid);

FILE* fp = NULL;
fp = fopen(m_szFileName, "rb");
if(NULL == fp)
{
printf("[Main]fopen (%s) fail!.\n", "a.JPG");
return false;
}

fseek(fp, 0l, SEEK_END);
int nFileSize = (int)ftell(fp);

if(nFileSize <= 0)
{
printf("[CReadFile::ReadFile]ftell error(%d)!\n", nFileSize);
}

fseek(fp, 0l, SEEK_SET);

if(m_pFTPCurl != NULL)
{
//curl_easy_setopt(m_pCurl, CURLOPT_VERBOSE, TRUE); //这个参数可以在FTP过程中显示FTP指令,如果你想看到的话。
curl_easy_setopt(m_pFTPCurl, CURLOPT_USERPWD, "freeeyes:freeeyes");
curl_easy_setopt(m_pFTPCurl, CURLOPT_URL, szServerPath);
curl_easy_setopt(m_pFTPCurl, CURLOPT_PUT, 1);
curl_easy_setopt(m_pFTPCurl, CURLOPT_INFILE, fp);
curl_easy_setopt(m_pFTPCurl, CURLOPT_INFILESIZE, (curl_off_t)(size_t)nFileSize);
curl_easy_setopt(m_pFTPCurl, CURLOPT_FTP_CREATE_MISSING_DIRS, 1);

CUrlRes = curl_easy_perform(m_pFTPCurl);
if(CUrlRes == CURLE_OK)
{
fclose(fp);
return true;
}
else
{
fclose(fp);
printf("[CDownIcon::FTPUpload](%s) Upload Fail.\n", pSoftid);
return false;
}
}
else
{
return false;
}
}
看到了吧,其实和HTTP差不多,只不过要注意几个参数。
curl_easy_setopt(m_pFTPCurl, CURLOPT_USERPWD, "freeeyes:freeeyes");
这是设置你的FTP用户名和地址。当然你的ftp没有密码可以忽略这个选项。
curl_easy_setopt(m_pFTPCurl, CURLOPT_INFILE, fp);
这个fp就是你要上传的FILE*指针。
curl_easy_setopt(m_pFTPCurl, CURLOPT_INFILESIZE, (curl_off_t)(size_t)nFileSize);
这是指定你上传文件的大小。
curl_easy_setopt(m_pFTPCurl, CURLOPT_URL, szServerPath);
这指定的是你的上传后的文件名称,比如"/Img/001/1001/1001.jpg"
curl_easy_setopt(m_pFTPCurl, CURLOPT_FTP_CREATE_MISSING_DIRS, 1);
最有意思的就是这个选项了,我很喜欢,这个选项的意思是,如果你在远程FTP上不存在这样的路径,CURL会帮你建立好。省去了我很多mkdir的麻烦,哪怕是多层目录它都能帮你建立,减少了很多的代码量。
呵呵,看到了吧,其实CUrl用在FTP上也挺简单的。而且是跨平台的。
以上是我对CUrl的一些初步理解,放在这里与大家共享。希望那天大家用到的时候,这些经验能帮你的忙。
当然,这只是最基本的运用。抛砖引玉,抛砖引玉啦。

libcurl安装使用方法-简单实用(摘录)