Az ipset nem az ágyúval verébre esete? Ide szerintem elég egy -m recent --rcheck -j DROP, ha ez a REL/EST teszt előtt megtörténik. Amint a PHP script beírta az IP-t a /proc/net/ipt_recent/... alá, máris bannolva a kapcsolat.