我们的网站有许多域名,如:
example.co.uk
example.in
example.co.eg
...
所以在
robots.txt
中应该有一个条目显示我们的站点地图文件的位置。所以我的问题是:
每个域都有许多站点地图文件,那么如何在单个
robots.txt
文件中分别为每个域放置这些条目? 最佳答案
假设所有域都有相同的robots规则,那么将单个robots.txt放到根目录中,并将所有站点地图链接放到根目录中。
我想站点地图的链接应该是http://www.example.co.uk/sitemap.xmlhttp://www.example.in/sitemap.xmlhttp://www.example.co.eg/sitemap.xml
或者你可以建立一个像/robots/co-uk.txt/robots/in.txt/robots/co-eg.txt
根据站点地图链接放入它们,并根据用户所在国家动态地传递它们<ifModule mod_geoip.c>GeoIPEnable OnRewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^UK$RewriteRule ^robots\.txt$ robots/co-uk.txt [L]</ifModule>
为此,您应该安装mod_geoip或ip2位置。如果使用IP2位置,则用GEOIP_COUNTRY_CODE
替换IP2LOCATION_COUNTRY_SHORT
。