搜索引擎蜘蛛（又被称为网页蜘蛛、网络爬虫），采用极其复杂的抓取策略去遍历互联网中尽可能多的网站，而且还要在保证对网站用户体验不受影响的综合考量下，抓取更多有价值的资源。各大搜索引擎每天会派出蜘蛛，起点一般是权重比较高的网站或是访问量很大的服务器。蜘蛛会顺着内外链入口访问更多的网站页面，把网页信息存入数据库。就像图书馆一样把不同的图书分类整理，最后压缩加密成自己可以读取的方式放在硬盘上，供搜索的人索取。我们搜索的因特网，就是这个数据库。从搜索引擎蜘蛛抓取的原理来看，SEO要想培养蜘蛛定期抓取网站，应该做到以下三点：