这里主要介绍的Robots.txt方法来禁止垃圾流氓蜘蛛，Robots.txt方法只能针对遵循此规则的蜘蛛，添加到Robots.txt文件内即可，代码如下：
User-agent: AhrefsBot Disallow: / User-agent: DotBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: Uptimebot Disallow: / User-agent: MJ12bot Disallow: / User-agent: MegaIndex.ru Disallow: / User-agent: ZoominfoBot Disallow: / User-agent: Mail.Ru Disallow: / User-agent: SeznamBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: ExtLinksBot Disallow: / User-agent: aiHitBot Disallow: / User-agent: Researchscan Disallow: / User-agent: DnyzBot Disallow: / User-agent: spbot Disallow: / User-agent: YandexBot Disallow: / User-agent: DataForSeoBot Disallow:
大部分流氓蜘蛛只所以叫流氓，就是他们根本不认这个，所以我的站长站建议大家使用禁止IP的方法最为保险。