A "kiszolgáló nem található" üzenet DNS hibára utal.
A leírásod többi része pedig a hairpin NAT hiányára.
Ha jól értem a helyzetet, a DNS név egy router publikus IP címrére mutat, a levelezőszervered viszont privát IP-vel DMZ-ben van. Ezen esetben a külvilág DNAT-on át éri el a belső szervert.
A DNAT csak akkor működik megfelelően, ha a kapcsolat a WAN irányból jön be, te viszont belső IP címről próbálnál csatlakozni egy másik belső IP címmel rendelkező géphez.