robots.txt是什么意思

2017年2月26日20:13:34 发表评论


robots.txt 用来约束搜索引擎蜘蛛,也可以比作一个合同,是一种协议约定协约。比如,约定表单 重要资料 重要客户 订单 银行卡信息 支付宝 订单号不让搜索引擎蜘蛛抓取到信息。

一、文本robots.txt阻止限制信息,禁止蜘蛛抓取

1、网站和搜索引擎协议文件

2、蜘蛛爬行网站的第一个要访问的文件robotxs.txt

3、屏蔽内容:不想被抓取的隐私内容,后台、数据库文件、模板、插件、或者做了伪静态就屏蔽动态

二、robots.txt格式

1、User-agent:* 用户代理访客者

2、Disallow:/ 不允许

3、Allow:/ 允许

4.星号* 代表所有 0-9 A-z

5、通配符$ 以某某个后缀

6、/ 一撇代表一个根目录

weinxin
我的微信
分享SEO交流经验与技术

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: