apache + mysql load surge

Adott egy rendszer, ket webszerverbol (DNS round-robinnal /gah/), egy kulon iszonytatoan gyors DB szerverbol, es egy management rendszerbol.

Tehat negy szamitogep.

Eljovend a pillanat amikoris rengeteg rqeuest timeoutol. (bocsanat a nyelvezetert...)
En majom nekiall hibat keresni. Nezem, latom(!) hogy az adatbazis szerveren megszaporodnak a threadek, megall az elet.
Ezt kovetoen a ket webszerveren feltorlodnak az apacsok. Sok kis indian kizabalja a ramot. Swapbe csuszunk, megall az elet.

Okos en, lecsokkenti a MaxClients erteket, hogy legalabb hozza tudjunk nyulni dolgokhoz amikor orom van.

Aztan turunk sokat. Nem jovunk ra mi a rak van.

Szolunk az alkalmazas fejlesztoinek, nezzek mar meg mi van.
Kozben eszrevesszuk, a problema kezdete egybeesik a Debian upgrade-del. Mi a szosz?!
Jonnek a fejlesztok kozosen turunk. Sok processz szamolgatas es SQL lekerdezes leses kozepette kiszurom, ki az aki lassu nagyon.

Szolok a fejlesztoknek.

Mit talalnak? Egy tablat 20000000 sorral. huszmillio. husz. millio.

kiderult, hogy egy script ami a session tablat tisztitanok ( a management hoston fut ) nem talalja el a lejart sessionoket.
kb masfel honapja.

Szeeeep...
Ez a masodik alkalom, hogy dolgok nem mennek jol mert a fejlesztoink elgaloppozzak magukat adatbazis karbantartasilag.

Uff.

ui.: most remeljuk, hogy a problema egyetlen oka ez volt :-D
szerk.: pikans reszlet, hogy a script futott, azon a 20mill soron, eppen csak nem talalt el semmit.
szoval ketszeresen rossz volt. Lassitotta is az eletet es nem is tette a dolgat.