A válaszok meglhetősen gyorsak.
aider leader board on is első helyre került.
https://aider.chat/docs/leaderboards/
- turul16 blogja
- A hozzászóláshoz be kell jelentkezni
- 436 megtekintés
Hozzászólások
Próbálgattam kódokon. Rosszabbnak tűnik mint a grok 3.
- A hozzászóláshoz be kell jelentkezni
grok 3-nak meg mindig nincs API -hozzaferese AFAIK.
A leader-boardon code -ban is az elso.
anthropic / claude tronfosztas valoszinuleg nincs, de meg nem sok review van.
BTW, goolge anthropic befekteto, ill anthropic hostol googlenel, nem feltlen eri meg neki olyan modelt olcson adni ami jobb.
Amit nem lehet megirni assemblyben, azt nem lehet megirni.
- A hozzászóláshoz be kell jelentkezni
Egész jól szerepel a Gemma, a Google nyílt forrású projektje. Érdemes lesz kipróbálni. A Grok3 szerintem is jobb jelenleg mint a Gemini szubjektív véleményem szerint. Grok3-nak viszont van egy fura hibája, van úgy, hogy idegen nyelv, főleg távolkeleti nyelvek szavai keverednek a válaszaiba.
- A hozzászóláshoz be kell jelentkezni
https://www.reddit.com/r/Bard/comments/1e7jd09/gemini_pro_best_temperat…
Lehet default temperature nem a legjobb koding taskokhoz.
https://community.openai.com/t/cheat-sheet-mastering-temperature-and-to…
gemma -nal mintha az alacsonyabb randomness jobb lett volna kodolasra.
Gemma nem igazan nyilt, csak open weight AFAIK, nincs training dataset ill. training code.
Legtobb model nem igazan nyilt.
Amit nem lehet megirni assemblyben, azt nem lehet megirni.
- A hozzászóláshoz be kell jelentkezni
Felületesen utánaolvasva a témának a Gemma licenc hasonlít a BSD licencre, de FSF standardok szerint nem Free licenc csak Open, mert van benne egy fura kitétel, hogy nem használhatod rossz célokra. Feltehetően politikai nyomásgyakorlás elkerülésére került bele egyébként feleslegesen. Továbbá futtatható teljesen saját hardveren How to deploy the large language model Gemma on your own computer
DeepSeek R1 671b (ráadásul MIT licences) kiadása óta az top liga AI is működtethető otthon, mégha jópár misibe is fáj a hardver alá. A Gemma viszont sokkal kevesebbel beéri (persze még mindig erős vas kell alá) és ahhoz képest egész szépen teljesít.
Training dataset nekem nem hiányzik, mert ebben a nagyságrendben az ahhoz szükséges hardver már megfizethetetlen kategória. Elég bőven a LoRA is.
- A hozzászóláshoz be kell jelentkezni
IMHO az open weight kb olyan mint egy free binaris, kicsit megteveszto opensourcenak hivni.
Kisebb mertben csoportosan azert ossze lehetne szedni dolgokat, meg erdekes volna latni midegyik modelnel, hogy is megy ez.
Amit nem lehet megirni assemblyben, azt nem lehet megirni.
- A hozzászóláshoz be kell jelentkezni
Common Crawl
Wikipedia
Project Gutenberg
OpenWebText
The Pile
azért lenne miből kiindulni.
Ha distributed computing betanításra gondoltál akkor nem lenne lehetetlen.
Data Parallelism (PyTorch DistributedDataParallel, Horovod) és Model Parallelism (Megatron-LM, DeepSpeed) is járható út.
GPU-val (RTX 3060 12 GB VRAM, 13 TFLOPS) úgy18 000-30 000 résztvevő és 30-50 nap kell.
CPU-val (Ryzen 7 5800X 16-32 GB RAM, 6-8 magos CPU) úgy 480 000 résztvevő 30 nap ami nem tűnik kivitelezhetőnek a sok szükséges résztvevő miatt.
- A hozzászóláshoz be kell jelentkezni
Az internet nem tul gyors, base model traning helyett egy open modelbol kiindulva instruction tuning kivetelezhetobbnek tunik.
Amit nem lehet megirni assemblyben, azt nem lehet megirni.
- A hozzászóláshoz be kell jelentkezni