理论上，Baiduspider 会将新页面上所有能 “看到” 的链接都抓取回来，那么面对众多新链接，Baiduspider 根据什么判断哪个更重要呢？两方面： 第一，对用户的价值 内容独特，百度搜索引擎喜欢 unique 的内容 主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取 内容丰富 广告适当 第二，链接重要程度 目录层级——浅层优先 链接在站内的受欢迎程度 四，百度优先建重要库的原则 Baiduspider 抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的 “建库”。 #蜘蛛 #域名 #网站 #链接 #搜索引擎 #伪原创 #收录 #索引 #互联 #百度 #文章 #流量 #更新 #SEO #seo #抓取 #访问 #站长

解读Baiduspider抓取系统的原理与索引建库

四，百度优先建重要库的原则 Baiduspider 抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的 “建库”。众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料。目前 60% 的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高流量却一直不理想。