[2013 年更新]
我找不到具有 WordPress 的 robots.txt 文件格式的权威页面。我保证在我的网站上维护一个，但我想要一个堆栈溢出。
如果您知道自己在做什么，请在此处查看当前草稿:
http://mast3rpee.tk/?p=127
其他人对此发表评论:
机器人.txt
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Sitemap: http://domain.com/sitemap.xml
Crawl-delay: 4
最佳答案
User-agent: *
Allow: /
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /e/
Disallow: /show-error-*
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://yoursite.com/sitemap.xml
我认为这段代码对于robots.txt文件非常真实，只需转到Public_HTML并使用robots.txt创建文件并粘贴上面的代码即可。
您可以在记事本中制作，只需复制上面的代码并粘贴到记事本中，但记住文件名应该是 robots.txt 并上传到您的 public_HTML。
关于wordpress - 如何为 WordPress 设置 robots.txt 文件，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/17029811/