ChatHUP? HupGPT? RNNhup!

Elkészült az RNN nyelvi model a HUP kommentekből, laza 2 hétnyi tanítás (50 epoch, 223k steps) eredményeképp.

Előzmény:  https://hup.hu/comment/2872133#comment-2872133

Hogy trey is örüljön, a tanítás egy Tesla kartyan ment, egy olyan szoftverrel, amit a Tesla-nal dolgozo Andrej Karpathy fejlesztett:

wc:   911390  54930293 392372697 hup4.txt

th train.lua -checkpoint_every 1000 -batch_size 512 -seq_length 128 -rnn_size 1024 -num_layers 3 -input_h5 data/hup4.h5 -input_json data/hup4.json

Persze ez még sehol nincs a GPT-khez képest, de még így is érdekes, bár inkább vicces szövegeket generál:

Itt tesztelheto :)     reloadolgatni kell, mindig mas...

(nem online fut, mert nem tudom/akarom a teslás gépet kitenni a netre, előre le van generálva sok ezer output vele és abból random jelenít meg párat a fenti cgi)

pl:

Megjelent a Google Chrome BSD 10 gyártó desktop linux alapú rendszere.A bejelentés szerint 2007Q1 + Chrome/Chromium 5.x verzió jelent meg a 22, videotanult publikus technológiáktól. A Swisson Browser Xen kereskedelmi felhasználói igazgató azoknak számít, akik angolul is tárolják a Photoshop másik oldalát. A globális hozzáférések a listában végeznek a Netflixnek. További ügyfeleinket az oldal wiki alá kellett kérnem magam hagyománya különbözőségéről. Saját reklámmal szívesebben csinálok a fejemben készült újságot és bejegyzem a háziorvosom, hogy Linux-szal beállítsam FIXME...

( Hiena v | 2023. 01. 25., sze – 20:30 )

Ah, ez jó. Tetszik. Lehetne, hogy leszűröd egy- egy felhasználó, kommentjeire szűrsz és azzal tanítod?

"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "

nem, az akar mukodhet is.  de akkor meg ott a jogi oldala is, amig az osszes kommentbol tanult AI general suletlenseget, addig poen, de ha egy konkret szemelyt kezd el utanozni, kifigurazni az mar problemas lehet. ahogy a kepgeneraloknal (stable diffusion stb) is akkor kezdtek el haborogni a meg elo muveszek, amikor konkretan 1-1 festo/grafikus kepeit, stilusat majmoltattak az ai-vel.

( sinexton | 2023. 01. 25., sze – 20:56 )

Karpathy jó, szuper JS implementációkat csinált pl SVM-ből.

( NagyZ v | 2023. 01. 26., cs – 09:35 )

Szerkesztve: 2023. 01. 26., cs – 09:39

mar nem dolgozik a teslanal.

a torchos verzio nem lett volna jobb?

szerinted mennyire lenne gyorsabb egy A100on a K80-hoz kepest?

az a 2 het brutal soknak tunik ennyi adatra.

a torch-os nvidia-dockeres verziot futtattam:  https://github.com/crisbal/docker-torch-rnn

nincs A100-al tapasztalatom sajnos, de biztos legalabb 10x... ez a Tesla eleg gyengus volt, meg a 1080-hoz kepest is lassu 1 magon.

> az a 2 het brutal soknak tunik ennyi adatra.

nekem is :)   a parameterektol fugg nagyon, 2 layer 256 size modellel lefutna 2 nap alatt is, eloszor ugy ment de eleg hamar megallt a javulasa (nem csokkent tovabb a loss). probaltam dropout-al is de az se nagyon segitett rajta. akkor inditottam ujra jan 10-en tobb parameterrel, de utolag visszanezve a loss historyt ez is csak 1 hetig fejlodott utana stagnalt csak.

es mivel ez karakter-alapu igy kb 400 millio input volt neki. probaltam egy olyat is kozbe, hogy sentencepiece-el tokenizaltam es arra engedtem ra ezt a modellt (a GPT-k is azt hasznaljak), de az nem mukodott jol. viszont gyors volt :)

( tigrincs | 2023. 01. 26., cs – 11:10 )

Pure gold:

Eddig csak a kutya szállította a magyar gazdaságot
Az általam használt bolygón a kertben használtak a macska is a fehérek, a levágott lábak
A kolléga legalábbis az, hogy meg is tudja venni a szopásokat
Kis kitöltött fiókon meg ott van a traktor

10/10 POL kontent: "Mit kellene tenni? Mindenesetre köszönöm a részletes választ ennek a topicnak a számára megfelelő valóságtagadásért. Egyébként a történetet nem ismerem. Ha azt mondod, hogy nem kell, akkor legalább megfordíthatnád mindkét oldalt. :)"

[insert line here]
B.C. 3500 - DIY Vehicle / A.D. 30 - DIY Religion / A.D. 1991 - DIY OS

( carlcolt | 2023. 01. 26., cs – 11:26 )

Ekezetes vs ekezetnelkuli userekre van valami fancy peldakodod?