一. 搜索引擎蜘蛛类型

1. 蜘蛛：SemrushBot

SEMrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。

2. 蜘蛛：AhrefsBot

Ahrefs是一款非常著名的外链分析工具，它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库，在查询外链方面，准确率非常高，所以它的价格不便宜，一个月99美金，让May只能望而止步。

3. 蜘蛛：dotbot

Dotbot是Moz的网络爬虫蜘蛛，Moz相信不少的SEOer人员使用过，帮助分析网站运行情况的一款工具，立志打造世界上最准确的SEO数据。

二. 搜索引擎蜘蛛屏蔽方式

以上这些蜘蛛，如果你觉得需要屏蔽的话，可以参考下面的屏蔽方式：

User-agent: SemrushBot

Disallow：/

User-agent: AhrefsBot

Disallow: /

User-agent: dotbot

Disallow: /

目前发现了这三款不常见的搜索引擎蜘蛛，赶紧检查一下你的网站日志中是否也有这些蜘蛛呢？或者还有其他蜘蛛？欢迎大家评论交流哦。