想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法第一种：查看网站的robot..

社区

首页短视频活动大厅 SEO文章我的页面

探索更多

探索更多热门帖子

2024 SEO社区版权所有 ©

关于我们 • 网站目录 • 联系我们 • 开发者 • 隐私政策 • 用户条款 • wowonder-FFmpeg 配置 • wowonder NodeJS设置 • Wowonder主题—Sean • wowonder管理器 • wowonder采集程序 • 申请友链 • Wowonder生态圈

社区等级：1

更新文章

3 年前

想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法第一种：查看网站的robots。 #seo

怎样知道网站有没有屏蔽百度蜘蛛的抓取

怎样知道网站有没有屏蔽百度蜘蛛的抓取

上述的例子中，把Disallow: /改成指定的屏蔽目录就可以了，通常情况下，网站的后台目录是需要屏蔽的，只要指定的要屏蔽的目录，其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /，Allow的意思是指允许抓取的目录或页面。

喜欢

评论