Robots.txt如何编写规则

阿豪运维笔记(阿豪同学) 2020-05-01 1.04 K阅读

温馨提示:这篇文章已超过941天没有更新,请注意相关的内容是否还可用!

User-agent: *  

Disallow: /zb_users/  

Disallow: /zb_system/  

Sitemap: https://www.ahaoyw.com/sitemap.xml


其中Disallow为限制不允许的目录,

实在不会写的可以用https://robots.51240.com/图形化操作自动生成robots.txt文件


以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作有参考学习价值
喜欢请点击上方【分享】,如果对您有帮助可点击上方【打赏】打赏本站。谢谢大家对阿豪运维笔记的支持。

文章作者: 阿豪运维笔记(阿豪同学)
本文链接:
文章版权:站长码字很辛苦,除非注明,否则均为阿豪运维笔记原创文章,转载或复制请以超链接形式并注明出处。

取消
微信二维码
微信二维码
支付宝二维码