Szerintem első körben próbáld meg bekapcsolni a syn cookie feature-t a kernelben:
http://en.wikipedia.org/wiki/SYN_cookies
http://www.cyberciti.biz/faq/enable-tcp-syn-cookie-protection/
Ezzel kivédhetők a megkezdett, de fel nem épített TCP kapcsolatokkal (aka. SYN flood) kiváltott túlterheléses támadások.
Ha HTTP request-ekkel bombázzák a szervert, akkor egy adott IP-cím vagy tartomány esetén tűzfalon kitilthatod a cím(ek)et. Ha tökéletesen random IP-kről jön az "áldás" (pl. tor exit node-ok vagy egymástól távol eső proxy szerverek, esetleg egy botnet), akkor...
...építesz egy több száz/több ezer node-ból álló cluster-t, ami képes kiszolgálni a legitim klienseket egy DDoS támadás alatt is. :)