Ha csak 4GB memória van benne, akkor gondolom más szolgáltatás nem fut a szerveren, így a query-k hálózatról jönnek, feltételezem adott alhálózaton belülről.
Ami hasznos információ szokott lenni az ilyen "lassú" dolgok megválaszolásához, hogyha az alábbiakra megkeresed a válaszokat:
-lassuláskor a CPU terhelés milyen?
-lassuláskor IO wait jelentkezik?
-ha jelentkezik IO wait, akkor iotop mit mutat?
-milyen tároló van alatta? HDD/SSD?
-slow query log?
-a tmp-ben látsz mysql temp fájlokat létrejönni?
-mysql processlist milyen query futásokat mutat? előfordul-e olyan, hogy egymásra várnak a process-ek, esetleg deadlock alakul ki