Robots.txt如何编写规则

阿豪 20-05-01 557阅读

温馨提示:这篇文章已超过636天没有更新,请注意相关的内容是否还可用!

User-agent: *  

Disallow: /zb_users/  

Disallow: /zb_system/  

Sitemap: https://www.ahaoyw.com/sitemap.xml


其中Disallow为限制不允许的目录,

实在不会写的可以用https://robots.51240.com/图形化操作自动生成robots.txt文件


文章版权声明:除非注明,否则均为阿豪运维笔记原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

CentOS6 yum安装报错The requested URL returned error: 404 Not Found"解决办法

PS如何把图片或者头像提取成线稿

个人网站如何添加添加时光轴记录页面

phpMyAdmin如何解决数据库备份文件大于2M无法导入

推荐一款免费的GIF制作动图软件,开源GIF动画录制软件ScreenToGif

友情链接如何自动获取并添加favicon.ico小图标

遇良人先结婚,遇贵人先立业,无贵人而先自立,无良人先修身

一元复始 万象更新 你好,2022