近期通过日志分析发现DataForSeoBot爬虫最近大量抓取数据，且频次非常高，极大消耗服务器资源。它究竟是个什么来头？ DataForSeoBot官网：https://dataforseo.com/dataforseo-bot DataForSeoBot爬虫是什么 许多人会将 DataForSEO Link Bot 视作另一个搜索引擎的网络爬虫。其实不然。 DataForSEO 是通过向世界各地的 SEO 爱好者和专业人士提供高质量的数据来创造公平的竞争环境。 换句话说，就是DataForSeoBot爬虫采集的数据是提供给众多SEO从业人士的，这些数据可以被用作SEO竞争分析、SEO软件开发、市场调查、甚至网络推广等方面。也就是说，对于被抓取的网站本身来说，无任何价值，甚至有数据被采集的负面影响。 如何禁止DataForSeoBot爬虫？ 官网宣称DataForSeoBot爬虫支持robots.txt协议，但在百度搜索中发现，有站长吐槽它不太守规矩。所以建议通过同时使用以下两种方式来禁止它。 1、robots.txt方法 User-agent: DataForSeoBot Disallow: /   2、通过修改Nginx或其它WEB服务器规则禁止抓取 Nginx禁止DataForSeoBot爬虫规则如下： if ($http_user_agent ~ "DataForSeoBot/1.0" ) { return 403; } 站长一键导航网另外还可以通过禁止IP访问权限的方式，但IP地址可能会变更，所以不推荐封禁IP。