Rossz felé indultál, ha ez nem egy production szerver akkor minek a sok cache? Nem lesznek queryk vagy ha igen akkor nem érdekes hogy 2sec vagy 10sec alatt fut le.
Úgy látszik azt se olvastad amit írtam mart megemelted a tmp_table_size méretet, így már két connectionnél elfogy az összes memoriád...
Szerintem inkádbb indulj el a másik irányba és vedd lejebb az értékeket , hogy ne fuss ki a memoryából...