Blogbejegyzések

nanoLLAMA teszt :)

( arpi_esp | 2023. 05. 02., k – 21:33 )

Uj het uj LLM kiserlet. Ezuttal ezt talaltam, ez a nanoGPT mintajara (es abbol kiindulva) egy uj mini LLaMa implementacio, kompatibilis is az "igazival", tudja futtatni, sot finetuningolni is a LLaMa modelleket (csak gyozzed gpu-val):

https://github.com/Lightning-AI/lit-llama

Ezt is lehet tanitani, bar ez a funkcio meg eleg uj es befejezetlennek tunik, de kis kod javitgatassal sikerult mukodesre birnom, el is inditottam 5GB magyar szoveggel egy uj model tanitast 0-rol. A parameterek szamat ez nem irja ki, de 400M korulre saccolom, ami nem sok, de ez is kimaxolja az 1db 3090-es kartyat...

A model parameterek:     n_layer=32, n_head=32, n_embd=1024, vocab_size=8000, block_size=2048, batch_size=32

(a legkisebb LLaMA-7B 32/32/4096/32000/2048 volt, igy kb 16x nagyobb)

IF by DeepFloyd Lab at StabilityAI

( arpi_esp | 2023. 04. 30., v – 18:56 )

Uj free (letoltheto, on-prem/local futtathato) kepgeneralo (txt2img) model jelent meg Deep Floyd IF neven.

A korabbi latent-alapu modszerekkel ellentetben ez egybol pixelekkel dolgozik, nincs VAE layer beiktatva. Az elso model csak 64x64 pixeles kepeket general, de azt nagyon jol, a tovabbi modellek pedig ezt skalazzak fel 4x meretre ketszer:

Dell Inspiron 5620 első tapasztalatok

( aaron | 2023. 04. 28., p – 08:15 )

Előzmények: https://hup.hu/node/181513

A gép Ubuntuval került átadásra, apt upgrade-en kívül egyelőre mást nem csináltam (várom az extra RAM-ot és SSD-t)

Minden alkatrész jól támogatott, kivéve a touchpad-et... Az eléggé vacakol, hardverhiba vagy Linux-támogatási kérdés, mindjárt hívom a Dellt, néha lehet kattintani, de inkább nem...

A gép elég gyors, SuperTuxKart megy teljes felbontáson, teljes részletességgel. (majd a Docker és az IDE megizzasztja)

Utólag láttam, hogy nincs Ethernet csatlakozó, ezen meglepődtem, de ha itthon ülök, akkor úgyis az asztalit használom, nem fog nagyon hiányozni.

"konkrét javaslatokkal is ösztönözni fogja a split klímával való fűtést"

( m.informatikus | 2023. 04. 27., cs – 11:58 )

https://www.portfolio.hu/gazdasag/20220830/tizszer-olcsobb-is-lehet-a-k…

"Ez a cikk a Net Média Zrt. tulajdona. Minden jog fenntartva.

2022. augusztus 30. 06:00
A kormány ígérete szerint hamarosan konkrét javaslatokkal is ösztönözni fogja a split klímával való fűtést

Ez a cikk a Net Média Zrt. tulajdona. Minden jog fenntartva."

 

-->>

 

erről van bárkinek híre? kijött azóta a "javaslat"?

 

köszi

Frissen tanult szitokszavak – meg a szomszéd képe

( balagesz | 2023. 04. 26., sze – 23:29 )

A cím eleje kissé félrevezető, mivel annyira nem frissek ezek a dolgok, csak mindig elfelejtkezem a megoldásról, állandóan lehet keresgélni. Na majd most, lesz róla saját leírás, lesz mit előszedni amikor aktuális. Már ameddig ezek aktuálisak lesznek, de nem rohannék ennyire előre, amúgy is, most tele lesz a poszt egy jó adag morgással. :|

nanoGPT teszt

( arpi_esp | 2023. 04. 26., sze – 18:52 )

Par napja talaltam ra erre a nano meretu (par soros) GPT-2 implementaciora. Neki is alltam tesztelni!

1. kiserlet: a multkori RNN teszthez keszitett 400MB-os hup dataset. eloszor char alapon, majd sentencepiece tokenizalassal (8000-es vocab). mindket esetben nehany 1000 iteracio utan elszallt NaN-al. resume-olva az utolso jo checkpointbol ment meg egy kicsit, aztan megint megallt. ujrainditgattam eleg sokszor, de gyanusan gyenge volt a model minosege, igy elengedtem.

2. rakeresve a problemara, azt talaltam, hogy valoszinu tul keves az adat. ez igy nem LLM csak SLM :) nezzunk valami nagyobbat! osszecatoltam 3GB-nyi magyar szoveget, nagyobb hirportalok kb 20 eves termesebol (ez is tavaly nyari crawl), leszurve a min. 500 karakteres bekezdesekre. sajnos ez is elszallt ugyanugy...

3. tovabb kutakodva kiderult, hogy vszinu a float16 adattipus okozza a hibat. se a Tesla se a GTX1080 nem tamogatja a bfloat16 tipust, a sima float16 pedig konnyen tulcsordul, es ebbol lesz a NaN. van ra workaround, ki kell kapcsolni a fused AdamW optimalizaciot, igy valoban sokkal ritkabban szall el. de valoszinu amikor epp nem csordul tul, akkor se szamol tul jol, ezert nem fejlodott a model a tanitas soran...

4. hat valtsunk akkor float32-re, igy ugyan lefelezodik a batch size, a sebessegrol nem is beszelve, de legalabb stabil! es 1 nap tanitas utan mar egesz jol kezdi tanulni a nyelvet, kamuzni mar majdnem olyan jol tud, mint a nagyteso chatGPT, ime par pelda:

Raspberry Pi - Citrix kliens probléma

( pekob | 2023. 04. 25., k – 14:03 )

Sziasztok!

 

Ezeréves Citrix klienset kell frissítenem egy halom Rpi-n, de a következő problémába futottam bele:

Gond nélkül felmegy a legfrissebb ICA client, böngészőből beenged, indítanám a Desktopot, el is indul,

egy pillanatra, aztán bezárul az ablak.

A Raspbian is a legfrisebb.

Van valami ötlete valakinek?

 

Köszönöm!

infláció alatti THM-es hitelt megéri végigfizetni?

( m.informatikus | 2023. 04. 22., szo – 17:27 )

elmúlt 10 évben nem nagyon volt 3% alatti infláció.

ha az embernek van/lenne (20-25 éves hitelek):

  • babaváró hitelje: 0,4% THM
  • zöld otthon program lakáshitelje: 2,6% THM
  • 2 kisgy. CSOK lakáshitelje: 3% THM

akkor megérné végigfizetni őket, v. megérné előtörleszteni/végtörleszteni?

köszi (tudom a választ, de nem akarok befolyásolni senkit se :) )

Közvetlen kernel betöltés UEFI-ben

( jimmy399 | 2023. 04. 21., p – 19:08 )

Írni szeretnék - már lehet, hogy ezerszer kivesézett történetről-, az UEFI-ről és az MS viszonyáról.

Az egész bejegyzés eredetileg azért jött létre, mert szerettem volna magát a GNU/Linux kernelt GRUB2, mint köztes rendszerbetöltő nélkül, tisztán UEFI-vel indítani, mivel maga az is egy rendszerbetöltő.

Feliratkozás a következőre: Blogbejegyzések