Linux之——使用wget命令爬取整站

转载请注明出处:http://www.noobyard.com/article/p-nbekiurc-nt.htmlbash

wget -c -r -npH -k -nv http://www.baidu.com

参数说明

-c:断点续传

-r:递归下载

-np:递归下载时不搜索上层目录

-nv:显示简要信息

-nd:递归下载时不建立一层一层的目录,把全部文件下载当前文件夹中

-p:下载网页所须要的全部文件(图片,样式,js文件等)

-H:当递归时是转到外部主机下载图片或连接

-k:将绝对连接转换为相对连接,这样就能够在本地脱机浏览网页了

-L:     只扩展相对链接,该参数对于抓取指定站点颇有用,能够避免向宿主主机

启用地址假装

-user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"