txt必须放在网站根目录下
User-agent：用来表示搜索引擎的名字；User-agent: Baiduspider，用来表示百度蜘蛛，User-agent: *用来表示所有，冒号后面有一个空格
Disallow：用来禁止收录；Disallow: /，禁止收录所有页面；Disallow: /user/login。 #蜘蛛 #域名 #服务器 #网站 #关键词 #title #keyword #description #标签 #链接 #搜索引擎 #权重 #外链 #排名 #提升 #伪原创 #收录 #索引 #技巧 #内链 #谷歌 #百度 #必应 #移动端
