583194453    更新文章
2 年前

也许按照自己的一贯常识觉得只要通过输入“http:域名obots。 #蜘蛛 #域名 #网站 #标签 #搜索引擎 #收录 #索引 #百度 #文章 #更新 #SEO #seo #php #html #抓取 #首页 #站长 #robots

robots协议容易忽略却很致命的小细节

robots协议容易忽略却很致命的小细节

事情其实就发生在今天,经过是这样的:因为SEO博客也刚做好不久,前几天网站上线之后发现还有很多小问题需要处理,为了避免网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令,网站的调整一直持续了几天(之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人,不知道这算不算强迫症的一种),直到昨天也就是2月3号才全面竣工,但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕,全部问题都解决好以后,我就把robots协议重新更换了过来,并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样,到了今天早上发现网站还是没有被收录,于是我就去百度站长工具平台看一下我的网站到底是个什么情况,进去一看吓我一跳,因为我看到了下面一则(如图所示)信息:
喜欢