Blogbejegyzések

nanoGPT teszt

Par napja talaltam ra erre a nano meretu (par soros) GPT-2 implementaciora. Neki is alltam tesztelni!

1. kiserlet: a multkori RNN teszthez keszitett 400MB-os hup dataset. eloszor char alapon, majd sentencepiece tokenizalassal (8000-es vocab). mindket esetben nehany 1000 iteracio utan elszallt NaN-al. resume-olva az utolso jo checkpointbol ment meg egy kicsit, aztan megint megallt. ujrainditgattam eleg sokszor, de gyanusan gyenge volt a model minosege, igy elengedtem.

2. rakeresve a problemara, azt talaltam, hogy valoszinu tul keves az adat. ez igy nem LLM csak SLM :) nezzunk valami nagyobbat! osszecatoltam 3GB-nyi magyar szoveget, nagyobb hirportalok kb 20 eves termesebol (ez is tavaly nyari crawl), leszurve a min. 500 karakteres bekezdesekre. sajnos ez is elszallt ugyanugy...

3. tovabb kutakodva kiderult, hogy vszinu a float16 adattipus okozza a hibat. se a Tesla se a GTX1080 nem tamogatja a bfloat16 tipust, a sima float16 pedig konnyen tulcsordul, es ebbol lesz a NaN. van ra workaround, ki kell kapcsolni a fused AdamW optimalizaciot, igy valoban sokkal ritkabban szall el. de valoszinu amikor epp nem csordul tul, akkor se szamol tul jol, ezert nem fejlodott a model a tanitas soran...

4. hat valtsunk akkor float32-re, igy ugyan lefelezodik a batch size, a sebessegrol nem is beszelve, de legalabb stabil! es 1 nap tanitas utan mar egesz jol kezdi tanulni a nyelvet, kamuzni mar majdnem olyan jol tud, mint a nagyteso chatGPT, ime par pelda:

Raspberry Pi - Citrix kliens probléma

Sziasztok!

 

Ezeréves Citrix klienset kell frissítenem egy halom Rpi-n, de a következő problémába futottam bele:

Gond nélkül felmegy a legfrissebb ICA client, böngészőből beenged, indítanám a Desktopot, el is indul,

egy pillanatra, aztán bezárul az ablak.

A Raspbian is a legfrisebb.

Van valami ötlete valakinek?

 

Köszönöm!

infláció alatti THM-es hitelt megéri végigfizetni?

elmúlt 10 évben nem nagyon volt 3% alatti infláció.

ha az embernek van/lenne (20-25 éves hitelek):

  • babaváró hitelje: 0,4% THM
  • zöld otthon program lakáshitelje: 2,6% THM
  • 2 kisgy. CSOK lakáshitelje: 3% THM

akkor megérné végigfizetni őket, v. megérné előtörleszteni/végtörleszteni?

köszi (tudom a választ, de nem akarok befolyásolni senkit se :) )

Közvetlen kernel betöltés UEFI-ben

Írni szeretnék - már lehet, hogy ezerszer kivesézett történetről-, az UEFI-ről és az MS viszonyáról.

Az egész bejegyzés eredetileg azért jött létre, mert szerettem volna magát a GNU/Linux kernelt GRUB2, mint köztes rendszerbetöltő nélkül, tisztán UEFI-vel indítani, mivel maga az is egy rendszerbetöltő.

Notification UX tortenelem

Nagyjabol egyidoben valt hasznalhatatlanna a userek tobbsegenek az okostelefonok notification rendszere - ha iPhone-t, ha Androidos telefont hasznalt. De elobb induljunk el joval korabbrol, amikor csorgott a vezetekes telefon, hogy az egesz folyamatot megertsuk.

Az idos korosztalynak reflexeiben van, hogy ha csorog a telefon, fontos hir johet. Mig a fiatal generacio mar lassan akkor is elfelejti felvenni a telefont, ha munkat keres, mert nem jut eszebe, hogy nem csak spam callerek hivhatjak epp.

De hogy jutottunk ide? Lassuk lepesenkent:

[POL] Lula a tűzzel játszik

Nem tudom követitek-e Brazília politikáját. Én csak mérsékelten, éppen csak tudtam róla, hogy a választást Lula nyerte, aki akkor a globalisták jelöltjének tűnt számomra. Úgy tűnik tévedtem. Meglepő fordulat, hogy ő is belépett azok táborába, akik pedzegetik, hogy az USA Dollárt ki lehetne golyózni a nemzetközi kereskedelemből. Állítólag ezt monta: "Lula's first stop in Shanghai: 'every night I ask myself why we are all forced to trade by dollar?'" https://www.youtube.com/watch?v=Dn3RMRs0Hcs

THM

Ezt az oldalt mindenkinek el kéne olvasnia, aki kapcsolatba kerül hitelfelvétel témával: https://hu.wikipedia.org/wiki/Teljes_hiteldíj_mutató

De matekórán is tanítható lenne. Főleg az alul látható példa táblázat tanulságos. Hogy ha valaki egy ilyen számot lát, hogy THM: 13%, akkor ne gondolja, hogy ebből nem sülhet ki jó magas (akár 66%) tényleges ár.

AI és a fejlesztői munka

Az elmúlt pár hónapban egyre inkább felhasználom a munkáhmoz az AI-t, egy rövid összefoglalót írtam négy kis screencast-tal gondolatébresztőnek. Az AutoGPT-t egyelőre csak tesztelem, de azt is be kéne fogni valahogy értelmes munkára :)

S persze hosszútávon ez teljesen átformálja a fejlesztői munkát, igyekszem alkalmazkodni a változásokhoz.

Kommentben egyéb ötleteknek, AutoGPT trükköknek nagyon örülök. A "kihalnak a fejlesztők" rant-et mellőzzük, persze ez benne van a pakliban - diszruptív persze. Köszönöm!