a legtobb LLM-et 4db A100-ra (80GB VRAM/db) meretezik. persze vannak lebutitott (kevesebb parameter es/vagy felbontas, halffloat, byte, 4bit quantized etc) verziok azok elfutnak egy "mezei" pc-n is, ha nem is gyorsan...
GPT2 nem nagy, annal a GPT3 is nagysagrenddel tobb parameter... es aztan jott a GPT 3.5 es a GPT 4, de amugy egyik sem publikus, szoval ha lenne is vasad hozza, attol meg nem lehet on-prem hasznalni :(