Ha valóban a hosts.deny alapján szeretnéd a bant, úgy a fail2ban konfigjában engedélyezted a hostsdeny actiont? És ha igen, mégsem működik? Ahogy lajos22 írta is fentebb, az alap az iptables-multiport.
"Kérdésem, hogy a /etc/hosts.deny kerüljenek a blokkolások mit kellene beállítanom a fail2ban configjában?"
Ha biztosan ezt szeretnéd, és nem jó neked a default iptables-multiport, akkor a banaction mellé hostsdeny kerüljön. Megadhatod globálisan, vagy csak akár egyedileg is.