而网站地图恰很好的解决了这一难题，爬虫访问网站首先访问robots，我们在robots里写上网站地图的地址，等于告诉爬虫先爬地图，网站地图里就会有很多其他页面，这样就给蜘蛛对我们网站的爬行创造了良好的通路，也就更利于爬虫对整个网站页面的抓取。 #[22] #网站 #链接 #[28] #[30] #提升 #[23] #[59] #[26] #互联
评论
分享
