Sajna a mai világban az IP szűrés mit sem ér, mert holnap másik tartományból támad ...
Én egyelőre User-Agent el szűrök:
Jó pár hónapja már ilyenek vannak a webszerverekben:
SetEnvIfNoCase User-Agent "ClaudeBot" bad_bot
SetEnvIfNoCase User-Agent "Amazonbot" bad_bot
SetEnvIfNoCase User-Agent "SemrushBot" bad_bot
<Directory /var/www/>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Directory>
Vagy még durvábban:
SetEnvIfNoCase User-Agent "ClaudeBot" bad_bot
SetEnvIfNoCase User-Agent "Amazonbot" bad_bot
SetEnvIfNoCase User-Agent "SemrushBot" bad_bot
<location />
<RequireAll>
Require all granted
Require not env bad_bot
</RequireAll>
</location>