谜致力打造黑帽SEO培训行业第一品牌
SEO优化服务:正规SEO培训教程、黑帽SEO培训技术
SEO行业资讯

当前位置:主页 > SEO行业资讯 > bet:Bing的Robots.txt提示

bet:Bing的Robots.txt提示

来源:黑帽SEO培训 dozu.com.cn发布时间:2019/04/18

微软高级项目经理在Bing搜索工作弗雷德里克Dubut,说在Twitter上周三,当你创建在其Bingbot履带robots.txt文件中的特定部分,你应该确保列出该节中的所有默认指令。
为Bingbot指定指令。“如果你专门为Bingbot创建一个部分,那么所有默认指令都将被忽略(Crawl-Delay除外),”他说。“你必须复制粘贴你希望Bingbot在其自己的部分下遵循的指令,”他补充道。
有用的robots.txt提醒 - 如果你专门为#Bingbot创建一个部分,所有默认指令都将被忽略(Crawl-Delay除外)。您必须复制粘贴您希望Bingbot在其自己的部分下遵循的指令。
这是什么意思?这可能意味着Bing已经看到许多网站抱怨Bingbot正在抓取他们不想被抓取的网站区域。一些网站管理员可能认为,如果他们给Bingbot一些特定的指令,它将遵循未列出的其余默认指令。相反,如果您有Bingbot的一个部分,它将只遵循您在robots.txt文件的该部分中明确列出的指令。如果您没有Bingbot的特定部分,那么Bingbot将遵循默认指令。
为什么重要。确保在设置robots.txt文件时,所有搜索引擎抓取工具都可以有效地抓取您的网站。如果您为阻止,爬网延迟或其他指令设置了特定指令,请确保所有搜索引擎爬网程序都在监听这些指令。如果您没有遵循他们的协议或他们在访问此类指令时遇到问题,他们可能不会听取是否存在语法问题。
网站首页| 关于谜 | SEO行业资讯 |

© 2009-2019 【谜】黑帽SEO技术培训服务官网版权所有 地图

宗旨:教会初学者控制白帽与黑帽间的【度】