Jól értem, hogy Te a saját magad által telepített ISPconfig rendszer levelező szerverével úgy szeretnél kifelé leveleket küldeni saját domain-ben lévő fiókból, hogy nem maga a szerver "küldi ki" a levelet közvertlenül, hanem a Google mail szerverét szeretnéd használni smart/relay host-nak?
Ha így van, akkor ez azért nem egy gyakori felhasználása az ISPconfig-nak, mert azt kifejezetten hosting szolgáltatóknak tervezték, akik saját bejövő és kimenő mail szerver(eke)t üzemeltetnek, nem valami más nagy szolgáltató rendszerén szeretnék áttolni a leveleket. Emiatt nem olyan triviális egy ilyen beállítást elvégezni. Egyébként a "System -> Server Settings -> Mail -> relayhost" lapon vannak a hozzá tartozó beállítások. Ide kell majd az app password is.
De ha mindenképp ezt szeretnéd, akkor a "ispconfig smtp smart host" legyen a keresési kulcsszó a neten, valamint fogadd meg a fent hozzászólók tanácsát, és generálj a használni kívánt Gmail fiókodban egy alkalmazás jelszót, mert a kimenő levél küldéshez is hitelesíteni kell magad (jelen esetben az ISPconfig szerver teszi majd ezt), és oda kelleni fog ez az app password, mert az ugye (a szerveren fotó szoftver) nem fog tudni 2FA hitelesítést csinálni semmi módon.
Ezen felül szerintem rengeteg problémád lesz a leveleid spam-ba kerülésével úgy általában. El kell érned, hogy a címzettek szerverei elfogadják Google SMTP szervereit, mint forrást a Te domain-edből érkező levelek esetében (SPF rekord - attól, hogy a Google egy szervere továbbít egy levelet, még nem kap mindehol automatikusan pozitív besorolást csak ezért, mert "az megbízható"). Itt a kérdés az, hogy a Google (jogilag) mennyire támogatja ezt a fajta felhasználást...