首页 > 代码库 > 好用的wget命令从下载添加环境变量到各参数详解

好用的wget命令从下载添加环境变量到各参数详解

本文是因为(笔者使用的windows系统)使用过好几次wget后,始终存在各种细节问题,于是下定决定细致的研究一下,并记录下其中细节。

下载与安装

第一步:下载wget,网络地址:http://downloads.sourceforge.net/gnuwin32/wget-1.11.4-1-setup.exe(这个地址传播较广,可自行搜索)

第二步:执行wget.exe安装文件,TIPS:网络上说的不能安装在C盘programes files文件夹,经笔者测试不受影响,所以可以任意选择安装位置。

第三步:找到安装后wget.exe文件所在位置,笔者在:C:\Program Files\GnuWin32\bin,将GNU_HOME = C:\Program Files\GnuWin32\bin添加到系统环境变量中,并在系统变量中再加入;%GNU_HOME%\bin(前面分号是为了隔离前面添加的变量的),而非用户环境变量,如图红框所示:

技术分享

命令详解及测试

我们从最基本的开始一点点进行学习。

1.-V,--version 显示软件版本号,也可使用长参数--version,以下同,结果如下:

技术分享

 2.-h,--help显示软件帮助信息,可查看所有命令及使用简介,结果如图:

技术分享

3.-e,--execute=COMMAND 执行一个 “.wgetrc”命令,.wgetrc命令其实是一个参数列表,wgetrc格式参见/etc/wgetrc或~/.wgetrc,直接将软件需要的参数写在一起,这个列表在C:\Program Files\GnuWin32\etc底下,这是笔者本地路径,wgetrc文件命令都是注释状态,如果要使用需先取消注释。举例为wget -e robots=off URL等同于wget --execute=robots=off URL。参考:http://www.cnblogs.com/HappyThree/archive/2013/02/04/2892413.html。wget默认会根据网站的robots.txt进行操作,使用-e robots=off参数即可绕过该限制;

4.-o,--output-file=FILE 将软件输出信息保存到文件,你不希望下载信息直接显示在终端而是在一个日志文件,可以使用该命令:
wget -o download.log URL,等同于wget --output-file=download.log URL
技术分享

5.-a,--append-output=FILE将软件输出信息追加到文件,结果如下:

技术分享

6.-d,--debug显示输出信息;

技术分享

7.-q,--quiet 不显示输出信息;

技术分享

8.-i,--input-file=FILE 从文件中取得URL,下载filelist.txt中所包含的链接的所有文件,wget -i filelist.txt,本地须有一个链接列表,必须含如http,http是这样的协议头,不然不识别,最终执行结果如下,会逐行读取文件:

技术分享

9.-np, --no-parent,不追溯至父目录。

 技术分享

10.-t,--tries=NUMBER 是否下载次数(0表示无穷次);

技术分享

11.-O --output-document=FILE 指定下载目录和文件名;

技术分享

技术分享

12.-nc, --no-clobber 不要覆盖已经存在的文件;当文件存在时会提示:File ‘index.html‘ already there;not retrieving.

技术分享

13.-N,--timestamping只下载比本地新的文件;

技术分享

技术分享

14.-T,--timeout=SECONDS 设置超时时间;

技术分享

15.-Y,--proxy=on/off 关闭代理;

技术分享

16.-nd --no-directories 不建立目录,若下载全站,该值不设置会默认建立以域名为名字的目录,指定则不建立目录;使用-x会强制建立服务器上一模一样的目录,如果使用-nd参数,那么服务器上下载的所有内容都会加到本地当前目录。 

技术分享

17.-x,--force-directories 强制建立目录,即便一个文件也会强制建立目录;

技术分享

18.HTTP参数设置一些与HTTP下载有关的属性。

--http-user=USER设置HTTP用户
--http-passwd=PASS设置HTTP密码
--proxy-user=USER设置代理用户
--proxy-passwd=PASS设置代理密码

 技术分享

19.-r,--recursive 下载整个网站、目录(小心使用),防止陷入死循环,也即跟踪链接到外部网站去。

技术分享

20.-l,--level=NUMBER 下载层次,防止无限循环,得在知道层次的情况下,否则可能遗漏文件:

技术分享

21.-A,--accept=LIST 可以接受的文件类型,可以接受逗号;

技术分享

22.-R,--reject=LIST拒绝接受的文件类型,跟上面正好相反,可以接受逗号;

23.-D,--domains=LIST可以接受的域名,用逗号分隔;

24.--exclude-domains=LIST拒绝的域名,用逗号分隔,与23相反;

技术分享

25.-L,--relative 下载关联链接,指定关联的其他链接,防止无限递归。

26.--follow-ftp 只下载FTP链接,特殊需求;

27.-H,--span-hosts 可以下载外面的主机,指定对外面主机是否下载。

28.-I,--include-directories=LIST允许的目录,在知道目录结构的前提下设置可以下载的。

29.-X,--exclude-directories=LIST 拒绝的目录,在知道目录结构的前提下设置不可以下载的。
30.wget可以使用用户设置文件".wgetrc"来读取很多设置,我们这里主要利用这个文件来是设置代理服务器。使用者用什么用户登录,那么什么用户主目录下的".wgetrc"文件就起作用。例如,"root"用户如果想使用".wgetrc"来设置代理服务器,"/root/.wgetrc"就起作用,下面给出一个".wgetrc"文件的内容,读者可以参照这个例子来编写自己的"wgetrc"文件:http-proxy = 111.111.111.111:8080  ftp-proxy = 111.111.111.111:8080。这两行的含义是,代理服务器IP地址为:111.111.111.111,端口号为:8080。第一行指定HTTP协议所使用的代理服务器,第二行指定FTP协议所使用的代理服务器。
31.-b, --background 启动后转入后台执行;
32.-v, --verbose 冗长模式(这是缺省设置),-nv, --non-verbose 关掉冗长模式,但不是安静模式;(下图第一个为冗长模式,也即默认;第二个为nv模式,很明显显示信息少的多了)

技术分享

技术分享

33.-F, --force-html 把输入文件当作HTML格式文件对待;

34.-B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀,意思是需要下载的目标文件中间所含的相对路径文件。

 技术分享

35.以下三个暂做记录,应该不太常用。

--sslcertfile=FILE 可选客户端证书
--sslcertkey=KEYFILE 可选客户端证书的KEYFILE
--egd-file=FILE 指定EGD socket的文件名

36.--bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用),本地地址可通过ipconfig /all在控制台查看:

技术分享

37.-c, --continue 接着下载没下载完的文件,断点续传;

38.--progress=TYPE 设定进程条标记,选择下载进度条的形式,合法的type有“dot”和“bar”(默认)两种;

技术分享

39.-S, --server-response打印服务器的回应;

中断cmd正在执行的任务:按 Ctrl+C,退出cmd:exit

40.--spider 不下载任何东西;

技术分享

 

41.-w, --wait=SECONDS 两次尝试之间间隔SECONDS秒;

42.--waitretry=SECONDS 在重新链接之间等待1...SECONDS秒;

43.--random-wait 在下载之间等待0...2*WAIT秒;

44.-Q, --quota=NUMBER 设置下载的容量限制;

45.--limit-rate=RATE 限定下载速率
46.-nH, --no-host-directories 不创建主机目录;
默认创建主机目录如下:
技术分享
47.-P, --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...,也即指定本地保存目录;
48.--cut-dirs=NUMBER 忽略 NUMBER层远程目录,指定远程目录多少层不下载;
49.-C, --cache=on/off 允许/不允许服务器端的数据缓存(一般情况下允许);
50.-E, --html-extension 将所有text/html文档以.html扩展名保存,对下载的文件进行扩展名强制指定,比如远程是.htm的,本地指定为.html;
51.--ignore-length 忽略 `Content-Length‘头域,Content-length:用于描述HTTP消息实体的传输长度;
52.--header=STRING 在headers中插入字符串 STRING;
53.--referer=URL 在HTTP请求中包含 `Referer: URL‘头;
54.-s, --save-headers 保存HTTP头到文件;

 技术分享

55.-U, --user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION;

56.--no-http-keep-alive 关闭 HTTP活动链接 (永远链接);

57.--cookies=off 不使用 cookies;--load-cookies=FILE 在开始会话前从文件 FILE中加载cookie;--save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中

58.FTP 选项:

-nr, --dont-remove-listing 不移走 `.listing‘文件
-g, --glob=on/off 打开或关闭文件名的 globbing机制
--passive-ftp 使用被动传输模式 (缺省值).
--active-ftp 使用主动传输模式
--retr-symlinks 在递归的时候,将链接指向文件(而不是目录)
59.--delete-after 在完毕后局部删除文件;
60.-k, --convert-links 转换非相对链接为相对链接;
技术分享
61.-K, --backup-converted 在转换文件X之前,将之备份为 X.orig;

 技术分享

62.-m, --mirror 等价于 -r -N -l inf -nr;

63.-p, --page-requisites 下载显示HTML文件的所有图片;

命令好多,63个,逐一测试了一遍。留个印象,使用的时候,随用随看随取就好了。中文手册:http://dwz.cn/4QH6aM

好用的wget命令从下载添加环境变量到各参数详解