Robots.txt怎么使用正则表达式限制搜索引擎抓取某些页面吗？
答案是robots并不支持正则表达式，但支持两个特殊字符：
* 0-n个字符（n表示任意个）
$ 表示链接结束位置，如 Disallow: \.jpg$ 表示以.jpg结束的链接屏蔽抓取
标签 正则表达式Robots网站优化
robots.txt可以用正则表达式吗?
网站优化
51源码
2022-12-14
共人阅读
版权声明:文章搜集于网络，如有侵权请联系本站，转载请说明出处：https://www.51yma.cn/yunying/seo/984.html
文章来源：
下一篇： 不带www跳转带www域名伪静态规则
热门推荐
-
01百度搜索引擎日收录优化指南 353
-
02把Github改造成免费的OSS对象存储，用来加速网站静态文件（js/css/字体文件） 295
-
03搜狗搜索引擎免费官网认证方法 277
-
04小程序该如何推广引流 258
-
05Robots.txt禁止垃圾流氓蜘蛛大全 237