robots协议容易忽略却很致命的小细节 #[4] #[16] #[20] #[22] #[23]..

更新文章

来自：Windows设备 · 4 年前

robots协议容易忽略却很致命的小细节 #[4] #[16] #[20] #[22] #[23] #[28] #[32] #[37] #[47] #[57] #[59] #[61] #[71] #[4] #[16] #[20] #[22] #[23] #[28] #[32] #[37] #[47] #[57] #[59] #[61] #[71]

百度SEO

robots协议容易忽略却很致命的小细节

事情其实就发生在今天，经过是这样的：因为SEO博客也刚做好不久，前几天网站上线之后发现还有很多小问题需要处理，为了避免网站还在调整的过程中就被搜索引擎抓取到，所以我在robots协议里面写了禁止所有搜索引擎爬取网站任何部分的指令，网站的调整一直持续了几天（之所以会弄这么长时间是因为我是一个不能容忍瑕疵的人，不知道这算不算强迫症的一种），直到昨天也就是2月3号才全面竣工，但是这期间我每天都在坚持添加原创文章。昨天网站检查完毕，全部问题都解决好以后，我就把robots协议重新更换了过来，并且发了一篇帖子引了蜘蛛希望爬虫能快点过来爬我的网站。就这样，到了今天早上发现网站还是没有被收录，于是我就去百度站长工具平台看一下我的网站到底是个什么情况，进去一看吓我一跳，因为我看到了下面一则（如图所示）信息：

喜欢

robots协议容易忽略却很致命的小细节

wowonder Sean主题