我们的网站有许多域名,如:

example.co.uk
example.in
example.co.eg
...

所以在robots.txt中应该有一个条目显示我们的站点地图文件的位置。
所以我的问题是:
每个域都有许多站点地图文件,那么如何在单个robots.txt文件中分别为每个域放置这些条目?

最佳答案

假设所有域都有相同的robots规则,那么将单个robots.txt放到根目录中,并将所有站点地图链接放到根目录中。
我想站点地图的链接应该是
http://www.example.co.uk/sitemap.xmlhttp://www.example.in/sitemap.xmlhttp://www.example.co.eg/sitemap.xml
或者你可以建立一个像
/robots/co-uk.txt/robots/in.txt/robots/co-eg.txt
根据站点地图链接放入它们,并根据用户所在国家动态地传递它们
<ifModule mod_geoip.c>GeoIPEnable OnRewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$RewriteRule ^robots\.txt$ robots/co-uk.txt [L]</ifModule>
为此,您应该安装mod_geoip或ip2位置。如果使用IP2位置,则用GEOIP_COUNTRY_CODE替换IP2LOCATION_COUNTRY_SHORT

08-25 10:15
查看更多