当百度蜘蛛到你的网站上爬行收录内容时，你的网站日志会对百度蜘蛛的行为会进行自动的记录，因此只要你去分析网站的日志，你就会发现百度蜘蛛到你的网站上爬取了那些目录，这样你就会了解百度蜘蛛喜好你网站上怎样的内容。另外也可以知道百度蜘蛛是否到那些不会提升网站权重的目录上进行了爬行。因为有的网站内容如注册页面、广告页面以及图标目录等，都不需要让百度去爬行。另外对于网站的数据库也完全不需要被百度蜘蛛爬行。这一方面能够有效的规避百度认为网站是垃圾网站的风险，另一方面也能够提升网站的安全等级。