Google Kubernetes Engine hiba? SPAM-el a Google LB?

 ( bekeny | 2019. július 26., péntek - 12:44 )

Sziasztok!

A következő GCP/GKE hibával kapcsolatban várnék ötleteket:

Adott egy kubernetes cluster, amiben futnak konténerek, többek közt egy postfix konténer.
Ez a konténer a kubernetes clusternél megadott "Pod address range"-ből fogad leveleket, konkrétan a 10.8.0.0/14-ből.
Amit kap, azt továbbítja egy külső SMTP szerverünk felé a 2525-ös porton. Azt a célt szolgálja tehát, hogy a többi konténer tudjon levelet küldeni rajta keresztül.

Most másodszor fordult elő, hogy egyszercsak megjelent 10-100 ezres nagyságrendben levél (SPAM) ezen a postfix konténeren,
amit ő el is fogadott és ki is küldött, mivel a 10.8.5.1-es IP címről érkezett (vagy valamelyik másik belső tartománybeli IP címről).
Nem akarok túl sok logot idemásolni, csak egy levelet, ami hó elején volt:

Jul 09 06:29:01 mail-gateway postfix/smtpd[10668]: 4600C80026: client=unknown[10.8.5.1]
Jul 09 06:29:01 mail-gateway postfix/qmgr[108]: 4600C80026: from=, size=2863, nrcpt=6 (queue active)
Jul 09 06:29:01 mail-gateway postfix/smtpd[10668]: disconnect from unknown[10.8.5.1] ehlo=1 mail=1 rcpt=6 data=1 quit=1 commands=10
Jul 09 06:29:01 mail-gateway postfix/qmgr[108]: 4600C80026: removed

Ez a 10.8.5.1-es IP elvileg az egyik Google HTTPS load balance IP-je. Erről az IP-ről csinálja a health check-jét a HTTP-s konténereknek. Ez így néz ki a logban, a fenti bejegyzéssel kb egyidőben (a két óra eltérés csak az időzóna miatt van):

xy.hu:80 10.8.5.1 - - [09/Jul/2019:08:28:31 +0200] "GET / HTTP/1.1" 200 5304 "-" "GoogleHC/1.00

Namost az hogy lehet, hogy a load balancer IP-jéről egy olyan konténerre megy SMTP forgalom, amelyik konténerhez semmi köze nincs a load balancernek, ráadásul ez egy HTTPS load balancer, tehát SMTP forgalmat nem is tud bonyolítani? Legalábbis nem kéne neki tudni.

Felnyomták volna a Google load balancerét? Nem hiszem. Bár ez egy béta LB (vagy nevezzük Kubernetes Ingressnek?), mert a Googlenél csak a béta LB tud Let's Encrypt cetet kezelni automatikus megújítással tudtommal.

Esetleg valami hálózati anomália? Annak is kicsi az esélye szerintem.
Egyéb ötlet? Mit nézzek még meg? Mire gyanakodjak?

Megköszönném, ha valaki adna valami támpontot. A Google support nem válaszolt pár hét alatt (bár az igaz, hogy nincs külön megvásárolt support csomagunk, csak a szolgáltatásokért fizetünk).

Köszi!

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

A Google nem checkel ilyen IP-rol, plane nem spamel. Valamit kihagysz a tortenetbol. Van valamilyen komponensed, ingress, proxy whatever es azt nyomtak meg.

Igen, van egy Ingress, de az tulajdonképpen egy load balancer(t hoz létre) és ez checkel (elvileg). Amúgy ez a yaml definíciója:

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: main-ingress
annotations:
kubernetes.io/ingress.global-static-ip-name: xxx-lb-01
spec:
tls:
- secretName: xxx-ssl
- secretName: yyy-ssl
rules:
- host: xxx
http:
paths:
- backend:
serviceName: xxx
servicePort: 80
- host: yyy
http:
paths:
- backend:
serviceName: yyy
servicePort: 80

Ez a webes konténereket checkeli, és dobja nekik a forgalmat, meg ez manageli az ssl-t.
Ennek az IP-je az említett belső IP, legalábbis ez látszik az access logban.
Namost ez egy google szolgáltatás, ha megnyomták, az szerintem a google hibája, hisz én fizetek érte,
amúgy nem is keveset, mert kb 24USD / hó egy ilyen Ingress/LB...

Mindenesetre a logok alapján ennek az LB-nek a belső IP-jéről jön az SMTP forgalom a postfix konténer felé...