谜致力打造黑帽SEO培训行业第一品牌
SEO优化服务:正规SEO培训教程、黑帽SEO培训技术
SEO行业资讯

当前位置:主页 > SEO行业资讯 > 谷歌发布草案以正式化机器人排除协议规范

谷歌发布草案以正式化机器人排除协议规范

来源:黑帽SEO培训 dozu.com.cn发布时间:2019/07/04

SEO培训消息,谷歌今天上午宣布,它已经向互联网工程任务组发布了一份评论请求,要求将机器人排除协议规范正式化为互联网25年之久的非正式标准。
这个通告。谷歌在其博客上写道:“我们与协议的原作者,网站管理员和其他搜索引擎一起,记录了如何在现代网络上使用REP,并将其提交给IETF。提议的REP草案反映了20多年来依赖于robots.txt规则的实际经验,这些规则由Googlebot和其他主要爬虫以及大约5亿依赖REP的网站使用。
什么都没有改变。我问谷歌的Gary Illyes,他是本公告的一部分,如果发生任何变化,他说:“不,什么都没有。”
那么为什么呢?由于机器人排除协议从未成为正式标准,因此没有官方或权威指南来保持其最新或确保必须遵循特定语法。每个主要的搜索引擎都采用robots.txt作为爬行指令,但它甚至不是官方标准。那将会发生变化。
谷歌公开其robots.txt解析器。有了这个,谷歌宣布他们开放源自robots.txt的部分解析robots.txt文件。“我们开源了C ++库,我们的生产系统用它来解析和匹配robots.txt文件中的规则,”谷歌说。如果你愿意,今天你可以在Github上看到这个库。
其实,sun黑帽SEO培训不知道我们为何关心。今天没有任何具体改变,但通过这种改变使其成为正式标准,它确实为改变事物提供了机会。请记住,互联网已经将其作为25年的标准使用,而这并不是官方标准。所以目前尚不清楚将来会发生什么变化或者可能会发生什么变化 但就目前而言,如果您要构建自己的抓取工具,可以使用Google的robots.txt解析器来帮助您。
网站首页| 关于谜 | SEO行业资讯 |

© 2009-2019 【谜】黑帽SEO技术培训服务官网版权所有 地图

宗旨:教会初学者控制白帽与黑帽间的【度】