NVIDIA GH200 AI Supercomputer

Egyéb

Igaz már 2 napos a hír, de az NVIDIA bejelentette, hogy elkészültek az AI szuperszámítógépükkel, aminek épp ésszel felfoghatatlan műszaki paraméterei vannak:

Az új GH200 chipből 256 kapcsolható össze NVlink switchek és optikai kábel segítségével és így az egész cluster egy egységes, 1-Exaflop teljesítményű 144TB GPU memóriával(!!!) rendelkező eszközként kezelhető. összehasonlításként eddig a 8db 80GB-os A100 kártyát tartalmazó gépekkel készültek az olyan LLM modellek mint a ChatGPT alapját is adó GPT-3. Ezzel az eddigiekhez képest 2 nagyságrendet tudnak ugrani a model méretében, ami elképzelhetetlen hová vezet majd ...

Mellesleg a GH200-ban található 72 db ARM CPU core is, hasonló felépítésben (közös memóriát használ a GPU-val) mint az Apple M1/M2 chipjei.

További részletek a bemutató videóban:

Az alábbi képen 1-1 rackben 2 db 8xGH200 modul található, optikán összekötve:

( csortu v | 2023. 05. 31., sze – 14:05 )

És mi a projekt kódneve? Skynet vagy GLaDOS?

Csaba

Tényleg érdekes kérdés, hogy mikor jön el a szingularitás. Egy ChatGPT szövegmodellje ránézésre óriási, de rettentő korlátozott, pl csak múltbeli dolgokról tud (2021 szeptemberéig bezárólag, most próbáltam). Amit most használunk a generatív AI-k között, az mind egy ilyen homokozóba korlátozott kis demónak tűnik.

De ha a modelljük megközelítené a jelen időt, folyamatosan frissülve, és felölelné a teljes online generált tartalmat (legalábbis egy nagyobb részét, kb mint ahogy egy keresőmotor), akkor nagyságrendekkel ijesztőbb lehet. Illetve még az is nagyon korlátozott, hogy mekkora kontextust tud kezelni, kb pár üzenetváltás után amnéziája lesz, innentől kezd hadoválni is, ezért aztán kizárt, hogy nagyobb léptékű gondolatmenetet szimuláljon. De ezek mind olyan dolgok, amelyeket még több memória és számítókapacitás segítségével meg lehet oldani, szóval történhetnek itt még érdekes dolgok. Pl hogy mi lenne egy ilyennel, akkor, amikor a saját maga által generált tartalmon is hízlalva generálna további tartalmakat, befolyásolva egyéb AI-okat is (amelyek ugyanúgy folyamatosan szívják fel az inputot). 

> hogy mekkora kontextust tud kezelni, kb pár üzenetváltás után amnéziája lesz

mivel  transformer modellek nem tanulnak menet kozben, kontextust sem ugy kezeli mint egy kulon allapot valtozo, hanem egyszeruen ugy general 1-1 uj kimenetet, hogy az inputja tartalmazza a korabbi kerdes-valasz parokat is. teljesen stateless!

viszont a block_size korlatozott, a GPT3-ig 2048 token volt (amibe csak par sor szoveg fer, foleg magyarul ahol 1 token 1-2 betu csak). az ujabbakrol nem sokat tudni, bar valahol olvastam, hogy a GPT4 mar lenyegesen hosszabbat is tud kezelni. viszont a block_size meretevel egyenes aranyban no a model parameterek szama, es a tanitashoz szukseges memoria es ido is, tehat nem lehet esz nelkul emelni...  es eddig ugye a gpu memoria is erosen korlatozott, nem nagyon tudtak tullepni a 8x80GB fizikai korlaton.

> generálna további tartalmakat, befolyásolva egyéb AI-okat is

hat ez mar most is komoly gond, azert is nem nagyon erolteti senki a 2021 utani anyagokkal valo AI tanitast.

A mostani Microsoft eseményen jelentették be hogy a Bing lesz a keresőmotorja a ChatGPT-nek, így naprakész adatokból fog válaszolni. Azt pedig hogy embereket vagy más mesterséges intelligenciákat ne vezessen félre, már hónapokkal ezelőtt írták hogy ezen is dolgoznak közösen. 

Nagyon fiatal még a ChatGPT, sok fejlesztésen és finomításon esik keresztül. Csak türelem, és jó lesz ez mindenkinek. 

Sokak szerint mar elertuk a klasszikus ertelemben vett szingularitast, mert megjosolhatalan a technologiai fejlodes. 

Amikor Sem Altman es a DeepMind kutatoja is elborzadva beszel az AI "lehetosegeirol", az valoszinusiti, hogy mar lattak durva dolgokat. Az hogy a nagymama hangjat barmelyik csalo utanozni tudja egy otsoros prompttal, csak a jeghegy csucsa.

De a generalt tartalom nagyreszt csak szemfenyvesztes. A genealt adat csak szimulacio, valodi adatot szerezni, feldolgozni vagy megjosolni mar erdekesebb. 

A genealt adat csak szimulacio, valodi adatot szerezni, feldolgozni vagy megjosolni mar erdekesebb

Igen, a chatggp generativ AI-ja olyan, mint egy demó GUI program: látványos, mert lehet tekergetni a scrollbart, működik a szövegwidget, lehet bele rajzolni, de nincs mögötte igazán értékes adat. A ChatGPT se tud semmit kiadni, amit ne tudnék a wikipédiából, google kereséssel összeszedni kis munkával magam is, nem raktak mögé sokat tudó API-kat, adatbázisokat, és ez a mi szerencsénk, egyelőre. Ha ilyen alkalmazások is készülnek, az azért elég nagy hatalmat ad azoknak, akik hozzáférhetnek, és az biztosan nem lesz ingyenes és nyilvános. Most bullshitgenerálásra jó, friss és specifikus adatokkal, illetve API-khoz hozzáféréssel (akár úgy, hogy az AI generálja a queryt) már kicsit többre lesz képes. 

Kb olyan ugrás lesz ez, mint amikor vállalatok először használtak számítógépeket folyamatirányításra, és hirtelen olyan számítások birtokában hozhattak napi döntéseket, amely számítások azelőtt tucatnyi papírral-logarléccel dolgozó számolószolga (computer!) több napi munkájával voltak előállíthatók. 

( Botond | 2023. 06. 01., cs – 14:29 )

(Pardon!)

Nem "épp ésszel", hanem "ép ésszel"

Fel nem fogom ép ésszel,
Mi történt a gépésszel. :)

( NagyZ v | 2023. 06. 02., p – 00:30 )

latom nulla szakmai komment szuletett egesz nap, csak megy a szokasos faszsag.

arrol ertekezzetek legyszi, hogy mekkora brutalsok az interconnect bandwidth, es hogy mar kulso nvlink kapcsolat is letezik ami skalazodik 256 GPUig. vajon mi van benne, bondolt 400Gbit?

( tomtyi | 2023. 06. 24., szo – 09:45 )

A videó nálam nem kattintható, „privát”. Miképp lehetne megnézni? Tudsz linket adni?

"The vision of Christ that thou dost see
Is my vision’s greatest enemy."