Blogbejegyzések

hALLo ALLaMo!

Ujabb het, ujabb LLM implementacio... ez is LLaMA, de kozelebb all a nanoGPT-hez mint a mult heti lit-LLAMA, amit a sajat fabric frameworkjuk miatt egyre jobban szetganyolnak...

This repository is intended as a simple, hackable and fast implementation for training/finetuning/inference LLaMA-based models

 

De most nem is ez az erdekes, hanem az elozo tapasztalatok alapjan tovabbfejlesztettem a dataset preparalo programom, hogy meg jobban kiszurje a hulyeseget a model tanitasahoz hasznalt inputbol. Nezzuk a lepeseket:

LG OLED szerviz menü

To access the LG service menu on a webOS TV, all you have to do is open your browser and enter the following address:

http://webosapp.club/instart

After that, a warning message will appear, we simply accept and enter the four-character password that they ask us for. The password to access the service menu is ‘0413’. Once entered, the menu should appear in full screen, with all the options available to configure.

 

- ASBL (Auto Static Brightness Limiter) =~ TPC (Temporal Peak Luminance Control): statikus képek esetén csökkenti a fényerőt a kijelző teljes területén (LG: sötét jeleneteket is statikus képnek érzékelheti)
- designed to dim down what it thinks is a static, non-moving image (bright or not) and protect against burn-in
- dimming of the picture after being static for a certain amount of time. (90 seconds I think but not sure)
- happens gradually
- can also trigger during non static scenes with a very low average picture level [lots of users HATE this]
- un-dims when something bright enters the scene or there is a scene change
- can be disabled in the service menu by turning off "TPC Enable"

 

- GSR (Global Sticky Reduction) elég értelmetlen definíció, az ASBL-en felüli egyéb sötétítési ('dimming') funkciók vezérlése: 'Logo fényesség csökkentése' (nem kapcsolja ki csak az erősséget, érzékenységet csökkenti), ABL.

 

Update 2023 szeptember: mivel ez egy exploit-on alapult h. a tv-n futó brózerből meg lehetett nyitni a szervizmenüt, LG azóta peccselte sunyiban. Changelog 1 qva szót nem szólt róla természetesen, csak a legutóbbi update óta nem működik már. Maradnak az alternativ módszerek:

- szervíz távirányító

- androidos telefon infra jeladóval és valami hozzá való app-al

- a githubról letölthető LG piszkáló tool: https://github.com/chros73/bscpylgtv

ProgGPT

- Jó napot, hát te mire használod a ChatGPT-t?

- Á semmire. Na jó, most éppen arra hogy írjon nekem egy regex kifejezést, ami validál tetszőleges karakterláncot 8-20 hosszúság között.

- Hát ez nagyon jól hangzik! Működik?

- Mint kés a vajban!

- További jó fejlesztést!

nanoLLAMA teszt :)

Uj het uj LLM kiserlet. Ezuttal ezt talaltam, ez a nanoGPT mintajara (es abbol kiindulva) egy uj mini LLaMa implementacio, kompatibilis is az "igazival", tudja futtatni, sot finetuningolni is a LLaMa modelleket (csak gyozzed gpu-val):

https://github.com/Lightning-AI/lit-llama

Ezt is lehet tanitani, bar ez a funkcio meg eleg uj es befejezetlennek tunik, de kis kod javitgatassal sikerult mukodesre birnom, el is inditottam 5GB magyar szoveggel egy uj model tanitast 0-rol. A parameterek szamat ez nem irja ki, de 400M korulre saccolom, ami nem sok, de ez is kimaxolja az 1db 3090-es kartyat...

A model parameterek:     n_layer=32, n_head=32, n_embd=1024, vocab_size=8000, block_size=2048, batch_size=32

(a legkisebb LLaMA-7B 32/32/4096/32000/2048 volt, igy kb 16x nagyobb)

IF by DeepFloyd Lab at StabilityAI

Uj free (letoltheto, on-prem/local futtathato) kepgeneralo (txt2img) model jelent meg Deep Floyd IF neven.

A korabbi latent-alapu modszerekkel ellentetben ez egybol pixelekkel dolgozik, nincs VAE layer beiktatva. Az elso model csak 64x64 pixeles kepeket general, de azt nagyon jol, a tovabbi modellek pedig ezt skalazzak fel 4x meretre ketszer:

Dell Inspiron 5620 első tapasztalatok

Előzmények: https://hup.hu/node/181513

A gép Ubuntuval került átadásra, apt upgrade-en kívül egyelőre mást nem csináltam (várom az extra RAM-ot és SSD-t)

Minden alkatrész jól támogatott, kivéve a touchpad-et... Az eléggé vacakol, hardverhiba vagy Linux-támogatási kérdés, mindjárt hívom a Dellt, néha lehet kattintani, de inkább nem...

A gép elég gyors, SuperTuxKart megy teljes felbontáson, teljes részletességgel. (majd a Docker és az IDE megizzasztja)

Utólag láttam, hogy nincs Ethernet csatlakozó, ezen meglepődtem, de ha itthon ülök, akkor úgyis az asztalit használom, nem fog nagyon hiányozni.

"konkrét javaslatokkal is ösztönözni fogja a split klímával való fűtést"

https://www.portfolio.hu/gazdasag/20220830/tizszer-olcsobb-is-lehet-a-k…

"Ez a cikk a Net Média Zrt. tulajdona. Minden jog fenntartva.

2022. augusztus 30. 06:00
A kormány ígérete szerint hamarosan konkrét javaslatokkal is ösztönözni fogja a split klímával való fűtést

Ez a cikk a Net Média Zrt. tulajdona. Minden jog fenntartva."

 

-->>

 

erről van bárkinek híre? kijött azóta a "javaslat"?

 

köszi

Frissen tanult szitokszavak – meg a szomszéd képe

A cím eleje kissé félrevezető, mivel annyira nem frissek ezek a dolgok, csak mindig elfelejtkezem a megoldásról, állandóan lehet keresgélni. Na majd most, lesz róla saját leírás, lesz mit előszedni amikor aktuális. Már ameddig ezek aktuálisak lesznek, de nem rohannék ennyire előre, amúgy is, most tele lesz a poszt egy jó adag morgással. :|

nanoGPT teszt

Par napja talaltam ra erre a nano meretu (par soros) GPT-2 implementaciora. Neki is alltam tesztelni!

1. kiserlet: a multkori RNN teszthez keszitett 400MB-os hup dataset. eloszor char alapon, majd sentencepiece tokenizalassal (8000-es vocab). mindket esetben nehany 1000 iteracio utan elszallt NaN-al. resume-olva az utolso jo checkpointbol ment meg egy kicsit, aztan megint megallt. ujrainditgattam eleg sokszor, de gyanusan gyenge volt a model minosege, igy elengedtem.

2. rakeresve a problemara, azt talaltam, hogy valoszinu tul keves az adat. ez igy nem LLM csak SLM :) nezzunk valami nagyobbat! osszecatoltam 3GB-nyi magyar szoveget, nagyobb hirportalok kb 20 eves termesebol (ez is tavaly nyari crawl), leszurve a min. 500 karakteres bekezdesekre. sajnos ez is elszallt ugyanugy...

3. tovabb kutakodva kiderult, hogy vszinu a float16 adattipus okozza a hibat. se a Tesla se a GTX1080 nem tamogatja a bfloat16 tipust, a sima float16 pedig konnyen tulcsordul, es ebbol lesz a NaN. van ra workaround, ki kell kapcsolni a fused AdamW optimalizaciot, igy valoban sokkal ritkabban szall el. de valoszinu amikor epp nem csordul tul, akkor se szamol tul jol, ezert nem fejlodott a model a tanitas soran...

4. hat valtsunk akkor float32-re, igy ugyan lefelezodik a batch size, a sebessegrol nem is beszelve, de legalabb stabil! es 1 nap tanitas utan mar egesz jol kezdi tanulni a nyelvet, kamuzni mar majdnem olyan jol tud, mint a nagyteso chatGPT, ime par pelda:

Raspberry Pi - Citrix kliens probléma

Sziasztok!

 

Ezeréves Citrix klienset kell frissítenem egy halom Rpi-n, de a következő problémába futottam bele:

Gond nélkül felmegy a legfrissebb ICA client, böngészőből beenged, indítanám a Desktopot, el is indul,

egy pillanatra, aztán bezárul az ablak.

A Raspbian is a legfrisebb.

Van valami ötlete valakinek?

 

Köszönöm!