我是否需要在robots.txt中的disallow语句之后添加allow all语句，或者do bots假定它们可以抓取任何未标记为disallow的内容。
例子：
User-Agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Disallow: /file1.php
Disallow: /file2.php
Allow: /
Sitemap: http://www.example.co.uk/sitemap.xml
或
User-Agent: *
Disallow: /folder1/
Disallow: /folder2/
Disallow: /folder3/
Disallow: /file1.php
Disallow: /file2.php
Sitemap: http://www.example.co.uk/sitemap.xml
最佳答案
如果您的意图是允许spider查找所有内容，则不需要显式地允许，但显式不允许的项除外。
禁止规则是为了让蜘蛛确定它找到的东西是否不应该被索引-如果这些规则中没有蜘蛛当前正在查看的地址的匹配项，它将被索引。
Here是一个相当简单的示例页面。
关于seo - 我应该在robots.txt文件末尾添加allow all语句吗？ ，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/16013425/