seo - 在robots.txt中指定变量

我的url结构设置为两个并行（都指向同一个位置）：
www.example.com/subname
www.example.com/123
问题是，蜘蛛爬进了像这样的东西：
www.example.com/subname/default_media_function
www.example.com/subname/map_function
请注意，名称“subname”表示我的站点上数千个具有相同功能的不同页面。
它们之所以会抛出错误，是因为这些链接严格用于json或ajax目的，而不是实际的链接。我想阻止他们访问这些页面，但如果url包含变量，我该怎么做呢？
这在robots.txt中有效吗？

Disallow: /map_function

最佳答案

你必须这么做

Disallow: /subname/map_function

robots将在根级别查找robots.txt。在那里，他们评估的网址从左到右没有通配符。
因此，您需要为所有map_函数创建一个位置并排除该位置，或者排除所有位置。

关于seo - 在robots.txt中指定变量，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/3238308/