Tűzfal és levelező probléma

Sziasztok!

Örököltem egy levelező szervert, amire rég óta panaszok voltak, hogy időnként nem jönnek a levelek illetve késnek akár egy/több napot is. Mivel nem vagyok otthon a tűzfalak és főleg a Linux világában, ezért segítséget kérnék a probléma javításában.
Egy leírás a jelenlegi állapotokról:
A levelező egy Debian 8 alapon lévő Postfix-es szerver ISPconfiggal. A Debian és az internet között egy Untagle van elhelyezve VM-re telepítve tűzfalként.
A levelezőt az elmúlt 1-2 hétben lemásoltam és frissítettem, egyenlőre csak a tesztet, nehogy az éles megboruljon mivel nem volt kb másfél-két éve frissítve, illetve telepítettem rá RoundCube-ot is, mert szükségünk lenne rá. Volt fent clamav, spamassasin és amavisd, de nem volt beállítva. Ezeket a különböző fórumokon lévő leírások alapján beállítottam. Az általam elvégzett tesztek alapján a működése jónak tűnik a teszt levelezőmnek. Bár szakavatott szemek biztos találnának benne még hiányosságokat.
Az Untangle aránylag friss, 13.1.1-es verzió van fent. A spam és vírus szűrés azért nem volt valószínűleg beállítva a levelezőn, mert a tűzfalon vannak telepítve az ingyenes csomagok (Virus Blocker Lite, Spam Blocker Lite, Phis Blocker Lite). Ezek jól működnek, mert nem sok spam és vírus jön be. A levelező felé a szükséges portok forwardolva vannak.

A konkrét probléma az, hogy a levelezőn meg a fail2ban csomag telepítve van és be is van állítva, hogy pár próbálkozás után a sikertelen bejelentkezési próbálkozások forrás IP-jét beírja a Debian iptables-ébe. Így kitiltja az Untagle belső IPjét, ez által 10 percig az összes levelet ami kintről jön és a nem belső hálóról próbálkozó felhasználók klienseit is visszadobja.
Néztem a logokat és egy támadás esetén ez órákon keresztül megy, így ellehetetlenítik a levelezést. Illetve néztem az Untangle auth.log-ját is, amiben szintén ezzel egy időben ott is rengeteg IP-ről rengeteg próbálkozás érkezik a bejelentkezésre különbőző felhasználói nevekkel.
Ezt otthon a Mikrotik routerben egyszerűen, pár tűzfal szabállyal orvosolni lehetett, de itt komplexebb a probléma, mert két VM-en is jelentkezik egy időben és az egyiken olyan, mintha LAN-on belüli probléma lenne.

Azt szeretném megtudni, hogy ti hogyan szoktátok beállítani a levelező-tűzfal párosításnál a vírus és spam szűrést? Hogy érdemes és biztonságos? A saját logikám szerint ezt csak a levelezőn tenném, így probléma esetén egy helyen kell csak keresni az okokat, viszont ebben az esetben a tűzfalon a problémás tartalmak átjönnek szűrés nélkül, felesleges forgalmat generálva. Vagy mindkét helyen legyen aktív, hogy több lépcsőben szűrjön? Vagy maradjon csak a tűzfalon?
Hogyan tudom a leírt támadások ellen védeni a levelezőt, milyen helyes konfigurációt kellene beállítanom, hogy ne magunkat rúgjuk lábon, tehát ne a tűzfalat tiltsam le a levelezőben, hanem a próbálkozó IP-jét. Ezt Untangle alatt hogy végezhetem el, mert nem találtam rá normális leírást eddig.
Van esetleg az Untangle helyett más ingyenes alternatíva? Sajnos pénzt nem áldoznak rá, de lennének olyan követelmények, hogy tiltsam pl a youtube-ot, facebook-ot, ami nehezen kivitelezhető, mivel az Untangle Lite csomagjai a https-t nem tudják blokkolni. Néztem még a pfsense-t, amit több helyen ajánlanak alternatívaként, de nem ismerem, hogy annak az ingyenes szolgáltatásai ilyet lehetővé tesznek-e.

Bocsánat, hogy sokat írtam és helyenként nagyon alap dolgokat kérdeztem, de még nem vagyok járatos ebben a témában. Köszönöm előre is az összes tanácsot, észrevételt és az építő jellegű kritikát. Illetve szívesen fogadok minden linkelt leírást, doksit, ami esetleg a segítségemre lehet.

Üdv:
spgabor