本文作者:阿豪

Robots.txt如何编写规则

阿豪 1年前 ( 2020-05-01 ) 169
Robots.txt如何编写规则摘要: User-agent: *  Disallow: /zb_users/  Disallow: /zb_system/  ...

User-agent: *  

Disallow: /zb_users/  

Disallow: /zb_system/  

Sitemap: https://www.ahaoyw.com/sitemap.xml


其中Disallow为限制不允许的目录,

实在不会写的可以用https://robots.51240.com/图形化操作自动生成robots.txt文件


文章版权及转载声明

作者:阿豪本文地址:https://www.ahaoyw.com/article/250.html发布于 1年前 ( 2020-05-01 )
文章转载或复制请以超链接形式并注明出处阿豪运维笔记

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏