Huggingface chatbot arena újabb Leader

A válaszok meglhetősen gyorsak.

aider leader board on is első helyre került.
https://aider.chat/docs/leaderboards/

Hozzászólások

Próbálgattam kódokon. Rosszabbnak tűnik mint a grok 3.

grok 3-nak meg mindig nincs API -hozzaferese AFAIK.
A leader-boardon code -ban is az elso.

anthropic / claude tronfosztas valoszinuleg nincs, de meg nem sok review van.

BTW, goolge  anthropic befekteto, ill anthropic hostol googlenel, nem feltlen eri meg neki olyan modelt olcson adni ami jobb.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

Egész jól szerepel a Gemma, a Google nyílt forrású projektje. Érdemes lesz kipróbálni. A Grok3 szerintem is jobb jelenleg mint a Gemini szubjektív véleményem szerint. Grok3-nak viszont van egy fura hibája, van úgy, hogy idegen nyelv, főleg távolkeleti nyelvek szavai keverednek a válaszaiba. 

https://www.reddit.com/r/Bard/comments/1e7jd09/gemini_pro_best_temperat…

Lehet default temperature nem a legjobb koding taskokhoz.

https://community.openai.com/t/cheat-sheet-mastering-temperature-and-to…

gemma -nal mintha az alacsonyabb randomness jobb lett volna kodolasra.

Gemma nem igazan nyilt, csak open weight AFAIK, nincs training dataset ill. training code.
Legtobb model nem igazan nyilt.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

Felületesen utánaolvasva a témának a Gemma licenc hasonlít a BSD licencre, de FSF standardok szerint nem Free licenc csak Open, mert van benne egy fura kitétel, hogy nem használhatod rossz célokra. Feltehetően politikai nyomásgyakorlás elkerülésére került bele egyébként feleslegesen. Továbbá futtatható teljesen saját hardveren How to deploy the large language model Gemma on your own computer

DeepSeek R1 671b (ráadásul MIT licences) kiadása óta az top liga AI is működtethető otthon, mégha jópár misibe is fáj a hardver alá. A Gemma viszont sokkal kevesebbel beéri (persze még mindig erős vas kell alá) és ahhoz képest egész szépen teljesít. 

Training dataset nekem nem hiányzik, mert ebben a nagyságrendben az ahhoz szükséges hardver már megfizethetetlen kategória. Elég bőven a LoRA is. 

Common Crawl
Wikipedia
Project Gutenberg
OpenWebText
The Pile

azért lenne miből kiindulni. 

Ha distributed computing betanításra gondoltál akkor nem lenne lehetetlen. 
Data Parallelism (PyTorch DistributedDataParallel, Horovod) és Model Parallelism (Megatron-LM, DeepSpeed) is járható út.

GPU-val (RTX 3060 12 GB VRAM, 13 TFLOPS) úgy18 000-30 000 résztvevő és 30-50 nap kell. 
CPU-val (Ryzen 7 5800X 16-32 GB RAM, 6-8 magos CPU) úgy 480 000 résztvevő 30 nap ami nem tűnik kivitelezhetőnek a sok szükséges résztvevő miatt.