我在一个网站上找到了一份工作来摆脱“这个页面没有可用的信息”。网站使用yoast seo，但是它被禁用了，所以我重新启用了它，然后我得到了一个基本的robots.txt，如下所示
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
我已经在六个小时前应用了这些设置，尝试在谷歌上搜索，但仍然没有改变。我现在感到焦虑。
这足够爬虫者阅读网站吗？我错过什么了吗？我需要搞乱htaccess吗？我在搜索引擎优化经验为零，所以任何帮助将非常感谢。
最佳答案
复制并粘贴到robot.txt中
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Sitemap: https://www.yoursitename.com/sitemap.xml
关于wordpress - Yoast SEO如何允许爬虫机器人，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/53535228/