BaiduSpider对死链的处理
Q：robots屏蔽对阻止百度抓取死链是否有效？
A：当然有效，百度严格遵守robots协议，若发现百度依然抓取，先确认是否为Baiduspider，若确认，可以通过反馈中心进行投诉。
Q：已被百度抓取的死链，可以通过robots屏蔽的方式让百度删除吗？
A：不建议你这样做，最快最有效的方法是通过百度站长平台死链提交工具进行处理。
Q：百度对死链的抓取，对正常文章抓取的影响会有多大。
A：这个没有统一的标准，如果你没有设置robots也没有向百度提交，死链量还特别巨大的时候，有可能会占用你网站大量抓取配额，导致正常内容无法抓取。如果仅仅是spider为了验证死链规则抓一部分，那么对正常内容不会造成影响。
Q：百度对死链的要求是什么？怎么设置死链效果最好？
A：目前百度支持协议死链、内容死链和跳转死链，其中最效果最好的是协议死链。
补充：
协议死链百度首推404，尽量不要用其它状态码来代表死链。
如果做内容死链一定要设置协议死链，不能返回200状态码，这样蜘蛛会认为是正常的页面。如