使用指定的http代理,配合md5sum 对于检查源站与cdn节点资源是否一致很有效
curl -o a.jpg -x 180.153.100.141: http://pbcdn.xximg1.com/v6/global2015/images/c2.jpg
wget -e "http_proxy=http://180.153.100.141" http://pbcdn.xximg1.com/v6/global2015/images/c2.jpg
爬取整个网站:
wget -r -k -np -p xxx.com