nanoGPT teszt

Par napja talaltam ra erre a nano meretu (par soros) GPT-2 implementaciora. Neki is alltam tesztelni!

1. kiserlet: a multkori RNN teszthez keszitett 400MB-os hup dataset. eloszor char alapon, majd sentencepiece tokenizalassal (8000-es vocab). mindket esetben nehany 1000 iteracio utan elszallt NaN-al. resume-olva az utolso jo checkpointbol ment meg egy kicsit, aztan megint megallt. ujrainditgattam eleg sokszor, de gyanusan gyenge volt a model minosege, igy elengedtem.

2. rakeresve a problemara, azt talaltam, hogy valoszinu tul keves az adat. ez igy nem LLM csak SLM :) nezzunk valami nagyobbat! osszecatoltam 3GB-nyi magyar szoveget, nagyobb hirportalok kb 20 eves termesebol (ez is tavaly nyari crawl), leszurve a min. 500 karakteres bekezdesekre. sajnos ez is elszallt ugyanugy...

3. tovabb kutakodva kiderult, hogy vszinu a float16 adattipus okozza a hibat. se a Tesla se a GTX1080 nem tamogatja a bfloat16 tipust, a sima float16 pedig konnyen tulcsordul, es ebbol lesz a NaN. van ra workaround, ki kell kapcsolni a fused AdamW optimalizaciot, igy valoban sokkal ritkabban szall el. de valoszinu amikor epp nem csordul tul, akkor se szamol tul jol, ezert nem fejlodott a model a tanitas soran...

4. hat valtsunk akkor float32-re, igy ugyan lefelezodik a batch size, a sebessegrol nem is beszelve, de legalabb stabil! es 1 nap tanitas utan mar egesz jol kezdi tanulni a nyelvet, kamuzni mar majdnem olyan jol tud, mint a nagyteso chatGPT, ime par pelda:

A 26 éves sztár azt is elmondta, hogy mennyire büszke rá, hogy 2008. augusztus 22. és 24. között egy ima után nem volt semmi kifogása, csak túl sokat volt kajakozni, nem evett alkoholt, nem ivott alkoholt és rossz orvost, de szerencsére csak öt hónapot és elég mélyre süllyedt. A 36 éves sztár egyébként 2004-ben, 56 évesen lett ikrei apjának a lánya, Soma pedig három évvel később, 56 éves korában látta meg a napvilágot. Az egyik legismertebb magyar televíziós műsorvezető ma már több televízióban is bizonyított, két gyermeke született, 1997-ben pedig 21 éves fia, Siegfried László köszönte meg a boldogságot. A TV2 műsorvezetője és a stúdió a legfiatalabb családtagja lett, aki bejárta a világot, így született meg 1994-ben a Légy édesek című tévéműsorban, melyben Csisztu Zsuzsa volt az egyik házigazdája.

A 73 éves zenész a Quaestornál folytatja pályafutását: „Amikor megkaptam a fizetésemet, azon gondolkodtam, hogy milyen hosszúra redukáltam a bankszámlámat, hogy hogyan lehet ennyiből kigazdálkodni a tartozásomat. Akkor találtam meg a megfelelő fedezetet. Ma már ott tartunk, hogy ha nem kapok egy számlát, és a bank ki akarja, akkor én ki fogja irtani magam. Ezt nem teszem meg, az őrültséget meg kell szüntetni, és azt is, hogy a számlámon lévő összegből a bank mellett csak más magánszemélyek részesülhessenek.”

A mozifilmek előtti digitális látás módosulásával a retina is megjelenhet, a fényviszonyok is változni fognak. Az objektíven át közvetített jeleneteken a film 30 másodperce alatt változtathat, ami egy 4D-s stúdióban játszódó jelenet a képernyőn látható jelenetek között. A mozifilmek 30 másodpercesek lesznek, és még mindig nagyon sok jelenetet kell elforgatni, hogy az operatőrök vissza tudják állítani a filmre az eredeti formát. Az operatőri részhez 4D-s kópiával és 4D kamerával készültek operatőri munkái. Filmezéssel is foglalkozó operatőr a kamerából ismert operatőr lesz, és a forgatókönyvet is ő írja majd. A Project Mechanism - A sötétség határán című operatőre az operatőri munkái mellett a vágómunka és a beszédtechnikát is megörökíti. Oasiasii Leiphegush forgatókönyve alapján operatőrök dolgoznak majd a kamerák előtt. A operatőrök között lesz az a kínai-koreai operatőr, aki 2008-ban készült A világ tájképe című filmjét a magyar nézők is láthatják a magyar mozikban.

 

Betegsége miatt valószínűleg a szülei kórházi kezelésre szorulnak, de a CNN szerint az énekes agya kevésnek bizonyult a kezeléshez. Ezzel párhuzamosan a Surgery Girls című amerikai magazin arról számolt be, hogy az állapota javult, és meg kell operálni. A texasi kórház egy fertőzéssel foglalkozó részlegének orvosai szerint a szívproblémái nem egészen tíz perc alatt felépültek, és 23 órán belül meg is gyógyultak. Egyes hírek szerint már négy-öt héttel a baleset után is kiürítették a kórházat. Jacksont ugyanakkor nem üthette meg, hogy egy nappal az eset után szállították gondozói a kórházba. A texasi halottkém a múlt héten 90 éves énekest, a Michael Jacksonnal turnézó Carrie Fishert is meghallgatta, és kiderült, hogy a halál oka a szívroham volt. A nagy ijedtségre a londoni koncertektől kezdve, a gyógyszertárak és a tömegközlekedési eszközök használatáig kellett várnia.

Hozzászólások

Egy másik hup-téma kapcsán érdemes tesztelni úgy, hogy feleteti vele az ember a
   https://www.webbeteg.hu/
   https://www.hazipatika.com/
és még 1..2 hasonló magyar/német/angol nyelvű ilyesmi szakportált és megnézni az elmúlt 10 év családi ügyeit, amivel az ember a háziorvosát zargatta, hogy arra ad-e értelmes választ.

jo otlet! mondjuk eleg sok melo lenne, a tartalom leszopkodasa is (kezdve a siteok osszegyujetsevel), meg a rendes tanitas is...

es ehhez - hogy jol mukodjon - keves lenne egy 120M parameteru model, oda mar sok milliard kene, azt meg hazliag nem tanitod, csak ha berelsz hozza egy A100 clustert legalabb :(

currently the file train.py reproduces GPT-2 (124M) on OpenWebText, running on a single 8XA100 40GB node in about 4 days of training

az is kerdes, hogy eleg nagy lenne-e a dataset, de tartok tole hogy nem, igy valami mas szoveggel kene pretrainelni a modelt es azt finetuningolni csak, de az tovabb bonyolitja. de ha valaki ad ra 100 misit akkor nekiallok :)

Szerkesztve: 2023. 04. 28., p – 09:31

szegeny AI nem volt felkeszulve a magyar rendorsegi hirekre :)

 

▁ A férfi a vád szerint egy lövedékkel az arcán a helyszínen elpusztult. A rendőrség még nem emelt vádat a B. László ellen, írja a Baon.hu. A férfi élettársa és nővére összevesztek, amikor a férfi elkábította őket, és otthona konyhájában található lőszerekkel agyonverte. A rendőrség azt kéri, hogy aki olyan információval rendelkezik, amit a gyanúsított vagy a sértett állít, jelentkezzen személyesen a B. László vezette bűnügyben, vagy hívja a 112-es segélyhívót, vagy tegyen bejelentést a nap 24 órájában elérhető 06-80/555-111 „Telefontanú” zöld számán - írja a police.hu.
▁ A Budapesti Rendőr-főkapitányság szerint a tűzoltókat dél körül értesítették, hogy három autó ütközött össze a BAH-csomópont közelében, a Soroksári út felé vezető irányban, a Határ úton. A tűzoltók a baleset helyszínétől mintegy 250 méterre találták meg a két autót, amelyek egy időre teljesen lezuhantak. A tűzoltók feszítővágón és gázkamrát tartó munkások segítségével jutottak ki a két baleset helyszínéről. A helyszínelés és a műszaki mentés ideje alatt a környéken rendőrök irányítják az érintett útszakaszon haladó forgalmat - írja a rendőrség.
▁ Azt írja a kisalfold.hu, hogy a hatéves gyermeknek súlyos hallása volt, édesanyja szerint viszont csak súlyosan sérült, és nem tudtak vele beszélni. A rendőrség a portál kérdésére elmondta, hogy az autót egy 17 éves újévi kislány vezette, aki előző nap még nem volt otthon, de most otthon van. Az autóban a gyerek édesapját is meglátta. Őt a kórházban ápolják. A rendőrség szakértői vizsgálata megállapította, hogy a lánynak még nem gyógyult fel a hallása, és nem akarták korábban elhagyni a gyermeket. Az ügyben a rendőrség eljárást indított, és kezdeményezi az anya ellen, hogy a bejelentéstől számított 30 napon belül tisztázzák a körülményeket.
▁ "Mentőakcióként" a helyszínen "bevonultunk a fővárosba, összefogtak a BRFK munkatársai" - mesélték a mentésről a Magyar Televízió Híradójának. Farkas Helga, a Budapesti Rendőr-főkapitányság szóvivője megerősítette a baleset tényét, és azt mondta, hogy a mentőket 10 percre riasztották a fővárosba. A tűzoltók megkezdték a sérült elsősegélynyújtást, ami után kihűlési reakciót és sértegetést alkalmaztak, így hozták ki őket. A mentőkhöz a mentősök fordultak, akik "külföldi állampolgároktól, külföldi állampolgároktól szereztek segítséget".
▁ Elfogták, majd a helyszínen elfogták a rendőrök azt a 24 éves horgászt, aki késsel meggyilkolt egy embert, és megpróbálta megerőszakolni, a holttestét pedig szétszórta; a gyanúsított büntetett előéletű, írja a police.hu. A férfi tavaly november 22-én szúrta le áldozatát, miután autójával Nagykanizsára hajtott. A kerékpáros férfi, aki egy kaszával a fején sétált, beugrott egy házba, de fáradten, fuldokolva teperte le a kaszát, amelyből egy szintén kaszával a fején kimászott. A férfi késsel a fején ütötte a nőt
▁ A rendőrség öt embert is letartóztatott, egyikük 2 év, a másik 1 évre felfüggesztett börtönt kapott. A diákok az intézményben tanultak, ám lebuktak, mert a férfi tanárként tanult, és a 31 éves férfi nemi szervét és bőrét is levágta, hogy így tiltakozzon az ellen, hogy őket is kirúgják. A mostani ítélet azt jelenti, hogy a vádlottnak 25 év után el kell hagynia az intézményt, ha nem esnek ilyen gyengén az iskolai szakok.
▁ Megélte azt a baromfipanda-árusítást, amelyre egy ismeretlen tettes lecsapott a debreceni állatkertben. A környéket lezárták, és a rendőrségi helyszínelést követően a fűben talált petesejtet lefoglalták a Debreceni Ítélőtábla sajtóközleménye szerint. A rendőrség emberölés gyanúja miatt indított nyomozást. A ketrecben mintegy 80 millió forint értékű - a tenyésztőhöz hasonlóan egyéves - tigriscsontot találtak. A rendőrség ezért eljárást indított, és kezdeményezi a férfi előzetes letartóztatását.

83k iter utan se lett jobb:

▁ Omar Alexander 25 éven keresztül dolgozott a börtönben négy gyereke mellett. Mahmúdot még aznap letartóztatták, mert a fogdára meghívta 9 éves kislányát. A nő addigra már több mint 22 ezer kilométert utazott Egyiptomban, és meglátogatta rokonait. Az Izvesztyija írta meg a nő nevét, akinek keresetbe azért fogott: 65 ezer Instagram-profilt kapott a hatóságoktól, akiknek a fotói alapján kiszivárgatta az ő családjához kapcsolódó sok lájkot. Alexander szüleit ez rossz fényben tüntette fel családja a tárgyalásán, ezt ugyanis nem hitték el nekik. Nagyon érdekes lesz látni, hogy kiderül-e, hogy nem is a valódi, hanem az ellopott képekről van szó.
▁ A férfi 60 ezer dollárral (10 millió forinttal) volt több mint egy héttel azelőtt, hogy letartóztatták. Az ügyészség szerint az álnév (például Zaha Hadidé) mellett meg is szerezte a saját bankkártyáját. És hogy mi történt a kártyájával? Az valószínűleg fel sem tűnhetett, mert a telefonjára nem érkezett meg. Miután kitöltötte a bankkártyát, kiment az Uber épületébe és meglátta édesanyja papírjainak egyikét. A hatóságok megmondták, hogy a férfi „a barátaihoz hasonlóan nem dolgozik”, ezenkívül pedig arra hívták fel a figyelmét, hogy a férfinak jogában áll autót is vezetni. A férfi nem először járt külföldön: korábban arról számolt be, hogy az anyja kocsival jár, de ez nem jelenti azt, hogy bármi szabályos lenne, az illegális használatot pedig ki fogják vizsgálni, hogy elkerüljék a börtönbüntetést.
▁ A 41 éves Cedric Freige már múlt időben van, amikor a rák egy részét észreveszi. Több héten keresztül kutatott az emberek után, hogy kiderítse, ő ölhette-e meg még szeptember 30-án. A rendőrség egy 30 éves nőt hallgatott ki, aki azt állította: a páciensei már napok óta süketek voltak, mikor megtalálták. A nő közölte, hogy ő csak a nyakát vágta fogba, mikor megpróbálta elkötni, de véletlenül ráütött a kezeire. Bár a nő elmondta, hogy látta élete romjait, az orvos nem volt képes felfogni, mi történt vele, annyira szégyellte magát és teljesen elképedt. Azt mondta: szörnyű volt, de egyelőre képtelen feldolgozni a történteket. A nő január 14-én hajnalban esett össze, beütötte a fejét a stúdióban. A kórházban bevitték a klinikára, ahol az orvosok elkezdték az orrát és a szemét átszenvedni ̶ ekkor még jól volt, de a műtéti beavatkozást el kellett halasztani. A történtek híre hamar elterjedt a közösségi portálokon, már több mint 12 órája keresték a rendőrséget. A nő kihallgatása még tart ̶ írja a MetróNews.

kiserletkeppen csinaltam egy uj 105M parameteres (32/32/512) GPT2 modelt:

15000 iter (128k token/iter) 1.3GB szovegen (magyar hiroldalak cikkei (kiveve sport), min 500chr hosszu, kategoria szerint sorbarendezve) dropout=0-val, majd meg 5000 iter dropout=0.1-en.

ezutan mar eleg jo magyarsaggal irt random cikkeket, kb annyira kamu tartalommal mint a chatgpt, de nyelvtanilag nagyjabol jol.

kiserletkepp ratanitottam erre (finetuning) 1000 iter-nyit szamitogepes portalok cikkeibol (csak 128MB txt), es maris alkalmazkodott az uj temahoz:

 

▁ A Synology 3650 más funkcionalitással rendelkezik, mint a nagyobbik változat, így nem kell lemondani a DiskStation Manager, a XM LT és a DS214+ típusú vezérlőkről, emellett támogatott a DiskPort/Software 2.0, illetve a ReadyDrive 6 képminőségjavító technológiákat is. A szoftveres tuninglehetőségekért ugyanakkor nem kell aggódni, a gép rendelkezik saját tuningszoftverrel, amely a PCI Express felületű videokártyákat képes tuningolni. A gép szeptember 6-án kerül a boltokba, az alapmodell 250 dollárba kerül majd.

▁ A hírek szerint a TSMC még a nyáron megkezdi a következő generációs grafikus vezérlők gyártását. A vállalatnak már jó ideje van arra, hogy saját GPU-it megfelelő számú GPU-val bővítse, a TSMC-nek azonban így is sok ideje van, mire a technológia a piacra lép és elhozhatja a gyorsuló ütemű innovációt. A cég vezetője, Jens-Peter Stylus arra számít, hogy év végére már a tömeggyártásra érett 70 nanométeres csíkszélességű eljáráson készülő GPU-k fele ilyen lehet, és a selejthányad éven belül átlépi a 100 millió darabot. A kártyák alacsony áruknak és a tranzisztorszámának köszönhetően egyenrangú versenytársai lehetnek a GT2-es és GT2-es GPU-t alkalmazó termékeknek.

▁ A cég emellett arról is beszámolt, a Dell kedden egy új, a régióban elsőként piacra került MyAudio termékcsaládot hoz forgalomba. Amint az ismert, a cég korábban Android operációs rendszert, a MyAudio Studio 1.5-öt és a Studio 2.2-t felhasználó mobilszolgáltatókkal kötött együttműködési megállapodást, a közös terméklista szerint a készülékeket az idei év első felében kezdték volna szállítani. Az akkori közlemény szerint azonban a megállapodásnak nem a mobil operációs rendszerek és a tabletek eladása miatt esett a csúszás, hanem a szoftverfejlesztéssel összefüggő feladatok miatt, mely folyamatok a cégen belül már jó ideje nem vezettek eredményre.
▁ A nagy kérdés, hogy a HP miért hagyja érintetlenül a 2000-es évek elején a notebookok, illetve a Chromebookok területén is a Dellt. Míg a HP 2005-ben a világ első számú PC-szállítójává vált az akkoriban kiemelkedő eredményekre visszatekintő PC-eladások 2005-re a 13,4 milliárd dolláros bevételekkel a cég 12,4 százalékát tette ki, a Dell részesedése így 22,3 százalékra olvadt. A Dell 2005-ben így már a világ harmadik legnagyobb PC-szállítója volt, megelőzve a 13,8 százalékos piacvezetőt is.

▁ A 2.0-s USB felülettel rendelkező NX86 500 dolláros kezdőáron lesz kapható a jövő hónapban. Az NX86 kódjelű, 10,1 hüvelyk átmérőjű kijelzővel ellátott NX84GSM-M és NX86GSM-M típusok egyaránt 600 MHz-es processzort tartalmaznak, a grafikai megjelenítésről pedig a GPU-t tartalmazó NVIDIA GeForce 6200-as kártyák gondoskodnak majd. A NexGear nevű NX86GTM-M és NX86GM-M jelzésű NX86GR típusok az MXM modulokra épülnek, a 2U magas rackbe szerelhető NX86DN, NX86GR, NX86DN és NX86GR jelzésű modellekbe viszont már az NX86X-es egységek kerülnek. Az új NX86-os vezérlővel kapcsolatban a standard 65 wattos energiaigénnyel kell számolni, ugyanis a kártya órajelei, fogyasztásai kisebb (1800 MHz) órajelen is csak 1020 MHz-es effektív órajelen futnak.

▁ Az AF1200 különlegessége a kamerában keresendő, a rendszer ugyanis másodpercenként rögzíti a környezeti felbontást, amit egy 3 megapixeles kamera segítségével végez. A kamera képének megjelenítésekor a felhasználó számára nem szükséges a kép szélein fényképezni, mivel az expozíciós értékek a rögzített tartalomhoz igazódnak. A kompenzációt egyszerűbbé téve, továbbá fontos, hogy az 5 megapixel natív felbontásához elengedhetetlenül szükséges az automata üzemmód használata is.

hagyom meg egy kicsit tanulni, aztan megnezem ha a 20k-s alap modelre a HUP-ot tanitom ra abbol mi lesz :)

55k iter utan is eleg vicces szoveget general az AI:

Sok birka szaladgál a zombik háza táján, és ha valakinek van egy gyereke, az kaszinóba szaladgál, és ott fog élni, ahova tartozik, vagy épp plázába, ahova minden évben megy a nagyi. Az új zombik nagyon komoly károkat tudnak okozni, és az, hogy mindeddig eléggé sablonosak és kiszámíthatóak tudtak lenni, azt jelzi, hogy bár bizonyos szempontból már meg is van a jobb marketing (ezt persze a zombi-biznisz elkopott szériája is bizonyítja), de ha valami ostobaságból valami szerencsétlenség történik, abban nagy hibát követünk el. A zombik olyan lények, akiknek semmi bajuk, a zombik pedig gonoszok (ez nálunk mindennél érdekesebb kérdés), és kitartásukhoz is nagyban hozzájárul a társadalmunk bolondsága.

A Somogy Megyei Rendőr-főkapitányság bűnügyi osztályának nyomozói július 28-án elfogták a tótkomlósi férfit, aki beismerő vallomást tett. Ellene hamis vád miatt indult eljárás. A nyomozás adatai szerint a gyanúsított a bűncselekmény elkövetése idején, 1992-2000. között több mint öt éven át rendszeresen fogyasztott az adott tótkomlósi településen; a férfi rendszeresen, minden másnap fogyasztotta a tótkomlósi italokat, ez idő alatt összesen 12,5 litert töltött a településen. Az elkövetéskor az ál-komlósi férfi kitűnően viselkedett: rendszeresen fogyasztott tótkomlósi italokat, alkalmanként 7 fehér cink gyertyát és fehér vászon tárgyat, 10 db gyertyát és egy darab 30 ml kakaót. A férfi ellen költségvetési csalás bűntett megalapozott gyanúja miatt folytatnak eljárást a Somogy Megyei Rendőr-főkapitányság nyomozói.

Szerinted hogyan lehet belőni a tápegységet? Bekapcsoláskor tápfeszültség és a venti bekapcsoláskori kimenő feszültségének különbsége szabályozható - 250V akkor is, ha a venti kicsit emelkedik, és a trafó melegszik, amin én is lazítottam, de nem 200W-ot tesz a trafóra. És ha a kondenzátor trafóját ráejteném a helyére, akkor hogyan tudom beállítani?

Július 1-től az akkor bevezetett új szabályoknak megfelelően már a 19 százalékos áfát tartalmazó termékek termelői ára is 14 százalékkal nő. A Magyar Élelmiszerbank Egyesület szerint ez azt jelenti, hogy az áfacsökkentés nyomán a 2020-as forgalmi adó-emeléshez képest 2 százalékponttal emelkedhetnek a 2019-es áfaemeléskor kifizetett 2020-as összegek. Vagyis a korábban bevezetett 3,4 százalékos áfaemelés hatása 2020-ban is 3 százalék alá fog esni, így az áfacsökkentés a termelők számára 25 százalékos áremelést eredményez majd. Erre válaszul a kormány 25 százalékos áfacsökkentést vezetett be. Aktívan dolgoztak az ingatlanfejlesztők, a 2020-ban jelentkező kereslet-újraindítási költségek már az áfacsökkentés előtt is 7 milliárd forintra rúgtak. A szektor szereplőit azonnali intézkedések árán tudták rávenni a drágulásra, de a szigorúbb értékesítési ütem és az alacsonyabb áfa hatására ez a költségszint tovább növekedett, 10 százalék alá, míg a 23 százalékos áfacsökkentés csak 15 százalékra. A vállalkozások számára legkönnyebben elérhető árat pedig nem csak a kereslet kiegyenlítése volt hivatott csökkenteni, hanem a beruházási igények megfelelő növekedése is.

Az IBM elismerte, hogy a jövőbeli adatok azt mutatják, hogy a PC-k image-e még mindig gyengék a piacon, eltolódást pedig a PowerPC-k mutatnak, amelyek kevésbé vannak kitéve a tuningerőnek. Ezt részben a működési költségek csökkenése okozza, de a jelenlegi stratégia nem elég erős, továbbá még mindig mindig nagyon nehéz optimalizálni az optimalizálás kockázatát. A vállalat továbbra is ambiciózusnak tekinti az új technológiát.