Megkérdeztem a ChatGPT-t, BERT (mBERT, HuBERTUSz, stb.) alapon több is van, igaz 1B alatt, a többi pedig 7B és fölötte. Mi a baj az mBERT-el, a "jól beszélő" részt nem teljesíti?
Kb. eljutottam oda, hogy nagy vonalakban tudom mi kellene: Egy tudás nélküli, kis erőforrás igényű (GPU nem játszik), elfogadható magyarsággal "beszélő" chat alap ami később RAG-al kapná az aktuális okosságot.
Ha valakit érdekel:
HuBERTUSz: Alacsony paraméterszámú transzformer modellek létrehozása és kiértékelése magyar nyelvre