背景
我目前正在建立搜索引擎优化索引的动态网站使用谷歌的！-通过代理和phantomjs的组合来实现。我们的web应用程序不仅托管我们自己的应用程序，还托管第三方提供的任何数量的应用程序。由于我无法控制这些应用程序（以及它们的加载时间），因此在处理googlebot查询时，我现在面临两个选择：
缓存生成的html并将缓存的响应返回给googlebot。刷新每个googlebot请求的缓存，但返回陈旧的响应
使用基于时间的缓存机制。到期时，googlebot会得到一个新生成的响应
显然，我更喜欢（2），但我担心googlebot会在阅读已爬网的html之前超时。
问题
googlebot请求超时之前多久？
最佳答案
简短回答
谷歌将惩罚响应时间慢的网页，所以最好是在谷歌来取内容之前主动生成和缓存内容。
长回答
正如@artjomb在评论部分指出的，（2）永远不会是一个选项，因为google会惩罚响应时间长的页面。（1）仅当索引信息不具有时间敏感性时才是选项。
另一个更好的选择是未声明的第三个选项：cron作业，它在任何googlebot获取内容之前主动重新索引和缓存内容，尽管这显然是要付出代价的，因为x%的重新索引可能永远不会被googlebot获取。
关于seo - GoogleBot超时前多久？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/25179919/