我的网站工作正常，直到上周，突然出现了许多“找不到”的错误。错误信息是可见的，但我找不到原因。这些错误表明，无法找到的页面是从sitemap.xml链接的，但是在出现错误之前，google能够正确地在网站中爬行。下面是一个例子：
站点地图中的真实链接（这是仍然有效的旧链接）：https://rohamweb.com/webdesign/174-طراحی-حرفه-ای-سایت-در-تهران.html
搜索控制台实际指向的是：https://rohamweb.com/webdesign/174-
显然，爬虫程序在-之后无法读取内容，这可能是由于不同的语言造成的。我直到上周才遇到过这个问题，在这个问题上，Perviously发挥了作用。
提前谢谢你的帮助！
最佳答案
如果这是实际的链接：https://rohamweb.com/webdesign/174-طراحی-حرفه-ای-سایت-در-تهران.html，则您的操作是错误的，在将其发送到响应之前，应对其进行url编码：https://rohamweb.com/webdesign/174-%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D8%AD%D8%B1%D9%81%D9%87-%D8%A7%DB%8C-%D8%B3%D8%A7%DB%8C%D8%AA-%D8%AF%D8%B1-%D8%AA%D9%87%D8%B1%D8%A7%D9%86.html
在这种情况下，所有可用的引擎都可以跟踪它。
关于url - 由于未知原因导致大量404 Not Found错误，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/40794307/