我正在为我的网站创建robots.txt文件，但通过查看我的项目结构，我不知道该禁止什么。
我是否需要禁止标准的.NET MVC目录和文件，如/app_data、/web.config、/controllers、/models、/global.asax？或者说那些还没有被索引？
像/bin和/obj这样的目录呢？
如果我不允许一个页面，是不允许/views/mypage/index.cshtml还是/mypage？
另外，在robots.txt文件中指定sitemap时，我可以使用web.sitemap，还是需要使用其他xml文件？
最佳答案
“robots.txt”指的是从网络爬虫公开看到的路径。
爬虫程序没有什么特别之处：它只是像用户一样使用http从站点请求页面。
因此，如果您的mvc站点配置正确，那么像/web.config这样的文件或您提到的路径将对外部世界不可见，因为无论是iis还是您的应用程序都不会被配置为为为它们提供服务。即使它指向那些文件，蜘蛛也会收到一个404未找到并继续。
同样，您的.cshtml或.aspx内容文件也不会使用这些扩展名。相反，一个网络爬虫将准确地看到你将显示给用户的内容。
关于asp.net - 为ASP.NET MVC站点创建robots.txt，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/7935126/