如何使用Cloudflare防火墙阻止Bot()

从抓取工具和漫游器中收到大量请求, 这对你的业务没有增值作用吗?
每天有成千上万的爬虫/漫游器访问你的站点, 但很少有帮助。其中一些被认为是恶意机器人或垃圾邮件。
你如何知道所有机器人都在访问你的网站?
好吧, 没有简单的答案。要找出答案, 你需要查看你的Web服务器access.log文件, 并查找” 用户代理” 列。假设你要列出除Googlebot以外的所有bot, 然后可以在存在access.log文件的Web服务器上运行以下命令。

grep bot access.log |grep -v Googlebot

看到这么多, 你感到惊讶吗?
当我检查日志时, 我也是。
[email  protected]:nginx# grep bot access.log |grep -v Googlebot | wc -l616834[email  protected]:nginx#

在阻止任何内容之前, 你需要检查它们以确保你没有阻止, 这可能是你的业务所必需的。而且, 有很多方法可以做到这一点, 但是我总是喜欢在边缘将其阻止。
原因很简单-当你根本不需要这些请求时, 为什么要让它们访问Web服务器。
像标题一样, 让我们??了解如何使用Cloudflare防火墙阻止你不需要的漫游器。
注意:如果你正在运营大型企业业务, 则可能对Cloudflare机器人管理服务感兴趣。
  • 登录到Cloudflare
  • 转到防火墙选项卡, 然后防火墙规则并创建防火墙规则
如何使用Cloudflare防火墙阻止Bot()

文章图片
  • 输入规则名称
  • 选择” 字段” 作为” 用户代理” , “ 运算符” 作为” 包含” , 并选择” 值” 作为你要阻止的机器人名称
  • 使用或条件在单个规则中添加多个机器人
如何使用Cloudflare防火墙阻止Bot()

文章图片
注意:上图中提到的机器人仅用于说明。没必要, 它们是坏机器人。
  • 然后选择动作作为阻止并部署
  • 如果你知道该表达式, 则也可以通过单击” 编辑表达式” 而不是遵循GUI来编写它。部署后, 你应该在列表中看到新创建的规则, 并且状态应该为ON以生效。
如何使用Cloudflare防火墙阻止Bot()

文章图片
很简单, 不是吗?
你还可以使用防火墙规则做什么?
好吧, 还有更多更多可以提供更好的安全性。让我们看看以下封锁条件。
  • 如果请求来自特定的ASN, 则IP地址
  • 匹配Cookie, 引荐来源网址, X转发关键字
  • 限制向全国提供服务的请求
  • 禁用不需要的HTTP方法, 例如PUT, DELETE, OPTIONS, PURGE等。
【如何使用Cloudflare防火墙阻止Bot()】还有更多选择…
你可以通过GUI构建器执行所有操作, 也可以编写你的表达式。应用更改几乎是即时的。
总结
Cloudflare防火墙规则是一种在不停机的情况下为网络边缘的Web应用程序添加保护的好方法。如果还没有, 你可能还需要考虑使用Cloud WAF以获得更好的应用程序安全性和DDoS和其他在线漏洞的保护。

    推荐阅读