谜致力打造黑帽SEO培训行业第一品牌
SEO优化服务:正规SEO培训教程、黑帽SEO培训技术
SEO行业资讯

当前位置:主页 > SEO行业资讯 > 谷歌停止支持robots.txt中的noindex指令

谷歌停止支持robots.txt中的noindex指令

来源:黑帽SEO培训 dozu.com.cn发布时间:2019/07/04

根据SEO培训消息:公司在谷歌网站管理员博客上宣布,自9月1日起,谷歌将停止支持机器人独家协议中不支持和未发布的规则。这意味着Google将不再支持文件中列出的noindex指令的robots.txt文件。
“为了维护健康的生态系统并为未来的潜在开源版本做准备,我们将于2019年9月1日停止处理不支持和未发布的规则(如noindex)的所有代码。sun黑帽SEO培训觉得对于那些依赖noindex的人robots.txt文件中的索引指令控制着爬行,还有许多替代选项,“该公司表示。
有哪些替代方案?谷歌列出了以下选项,你可能应该使用的那些选项:
(1)机器人元标记中的Noindex:在HTTP响应头和HTML中都支持,noindex指令是在允许爬行时从索引中删除URL的最有效方法。
(2)404和410 HTTP状态代码:两个状态代码表示该页面不存在,一旦抓取并处理了这些URL,就会从Google索引中删除这些URL。
(3)密码保护:除非使用标记来表示订阅或支付内容,否则将页面隐藏在登录后通常会将其从Google索引中删除。
(4)禁止在robots.txt中:搜索引擎只能索引他们所知道的页面,因此阻止页面被抓取通常意味着其内容不会被编入索引。虽然搜索引擎也可以基于来自其他页面的链接索引URL,而不会看到内容本身,但我们的目标是在将来使这些页面不太可见。
(5)搜索控制台删除网址工具:该工具是一种从Google搜索结果中临时删除网址的快捷方法。
成为标准。昨天,谷歌宣布该公司正在努力使机器人排除协议成为标准,这可能是第一次改变。事实上,谷歌昨天发布了他们的robots.txt解析器作为一个开源项目。
为什么Google现在正在改变。谷歌多年来一直在寻求改变这一点,随着谷歌推动标准化协议,它现在可以继续前进。谷歌称他们“分析了robots.txt规则的使用情况。”谷歌专注于查看不受支持的互联网草案实施,例如抓取延迟,nofollow和noindex。“由于Google从未记录过这些规则,因此它们与Googlebot的使用率非常低,”谷歌表示。“这些错误会影响网站在Google搜索结果中的存在,因为我们认为网站管理员不会这样做。”
我们为何关心。最重要的是确保您没有在robots.txt文件中使用noindex指令。如果您是,您将需要在9月1日之前进行上述建议的更改。另外,查看您是否使用nofollow或crawl-delay命令,如果是,请查看对这些指令使用真正支持的方法。
网站首页| 关于谜 | SEO行业资讯 |

© 2009-2019 【谜】黑帽SEO技术培训服务官网版权所有 地图

宗旨:教会初学者控制白帽与黑帽间的【度】