Köszönöm az ötleteket. Mivel az ESP32-nek két CPU magja van, végül úgy sikerült megoldanom, hogy az alapértelmezetten nem használt magra (0.) raktam a fájlolvasó kódot, ami egy 64K-s pufferbe tölt be a fájlból, a feldolgozó meg maradt az 1-es magon, és olvassa a pufferből az adatokat, most már zökkenőmentesen.