Azt nem írtad, hogy a géptermi IP-k publikusak vagy privátok.
Én elgondolkodnék 3 db S2S VPN-n alkalmazásán a felhő és a gépterem között. Majd efölött dinamikus routing - OSPF vagy BGP.
Nginx: Tud active és passive health checket is (utóbbi csak az Nginx Plusban van). Így megoldható, hogy csak az elérhető backendekre továbbítson forgalmat az Nginx. tovább tudod ezt tuningolni API oldalról is saját szkriptekkel.