我有此结构的链接：
http://www.example.com/tags/等等
http://www.example.com/tags/ blubb
http://www.example.com/tags/ blah / blubb（适用于同时匹配两个标签的所有商品）
我希望google＆co抓取所有在URL中具有ONE标签的链接，而不是对具有两个或更多标签的URL进行蜘蛛捕捉。
目前，我使用html元标记"robots" -> "noindex, nofollow"来解决此问题。
是否有robots.txt解决方案（至少对某些搜索漫游器有效）还是我需要继续使用“ noindex，nofollow”并承受额外的流量？
最佳答案
我认为您无法使用robots.txt做到这一点。 The standard非常狭窄（没有通配符，必须在顶级等）。
如何基于服务器中的用户代理禁止它们？
关于robots.txt - robots.txt:禁止漫游器访问给定的“网址深度”，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/682863/