robots.txt 用来约束搜索引擎蜘蛛，也可以比作一个合同，是一种协议约定协约。比如，约定表单 重要资料 重要客户 订单 银行卡信息 支付宝 订单号不让搜索引擎蜘蛛抓取到信息。
一、文本robots.txt阻止限制信息，禁止蜘蛛抓取
1、网站和搜索引擎协议文件
2、蜘蛛爬行网站的第一个要访问的文件robotxs.txt
3、屏蔽内容：不想被抓取的隐私内容，后台、数据库文件、模板、插件、或者做了伪静态就屏蔽动态
二、robots.txt格式
1、User-agent:* 用户代理访客者
2、Disallow:/ 不允许
3、Allow:/ 允许
4.星号* 代表所有 0-9 A-z
5、通配符$ 以某某个后缀
6、/ 一撇代表一个根目录
我的微信
分享SEO交流经验与技术