如何解决robots.txt文件存在限制指令

SEO基础知识 杭州seo 1,858 0评论

当网站重新上线后,再去打开网站的一个快照,很多时候是不是会遇到一个这样的提示由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”。这是什么原因造成的呢。原来又要网站重新上线时,robots.txt对搜索引擎抓取做了限制。
robots.txt文件
在网站还没有上线前,我们会对网站标题、描述等进行不断的修改,为了不让搜索引擎在网站上线前对其进行抓取,一般会在robots.txt里设置disallow:/。正是因为这个代码才会导致网站上线后,打开快照会有提示。

那么要如何解决robots.txt文件存在限制指令?

1、在网站根目录下找到robots.txt文件,去掉disallow:/。由于空间服务商的不同,根目录的地址也不一样,我是用万网的,所以在htdocs这个文件夹下,没有找到的可以去问空间服务商。

2、等robots.txt修改上传后,到百度站长平台更新robots,让搜索引擎知道网站可以抓取了,等快照更新过来,提示就没有了。

当然百度快照更新没有那么快,要耐心等待,不要频繁去修改。从这个问题中可以看出,在SEO优化中一个细节的错误也可能会对网站造成影响。

杭州seo>如何解决robots.txt文件存在限制指令,版权所有,转载请写明出处。

喜欢 1 or分享

发表评论

()个小伙伴在吐槽
  1. 还没有任何评论,你来说两句吧