阻止蜘蛛机器人除了一个

Question

我有一个网站，每天在不同时间蜘蛛机器人用semrush扫描我的网站。

我可以通过htaccess阻止用户代理，但是现在在星期天我用semrush浏览我的网站以获得一些改进。

因此，如果我阻止semrush用户代理我阻止自己，IP就是不同的，因为它来自semrush。

有没有办法阻止除了我的所有semrush用户代理？

由于

Answer 1

您可以使用以下规则来阻止用户代理，此外，这会排除您的IP，并且不会阻止您使用该用户代理。

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} semrush [NC]
RewriteCond %{REMOTE_ADDR} !^yourIP$
RewriteRule ^ - [F]