Javaslom a CSF+LFD használatát: http://configserver.com/cp/csf.html
A legismertebb botneteket ellen már a dshield, spamhaus blacklistek is érnek valamit. Van benne connection limit és connection tracking opció is. Beállítod, hogy pl 80-as portra 10 sec alatt max 60 kérés érkezhet egy IP-ről, utána tiltás, Connection limit beállításával pedig egy forrás IP-ről a szerver IP-jére nyitott maximális kapcsolatokat tudod limitálni (cél porttól függetlenül)
Ezen felül érdemes még psad-t sourcefire rule-okkal, 3-as danger level esetén tiltással.
A "buta" forgalom nagy részét csökkenteni tudod vele, bár nem garantált.