DGX Spark, Nvidia’s tiniest AI home supercomputer, tackles large models at solid speeds

Mesterséges Intelligencia: Prolog, Lisp

DGX Spark, Nvidia’s tiniest supercomputer, tackles large models at solid speeds

This relatively affordable AI workstation isn’t about going fast; it’s about doing everything well enough

 

  Nvidia DGX Spark Nvidia Jetson Thor Apple M4 Max AMD Ryzen AI Max+ 395
OS DGX OS ? MacOS Windows / Linux
FP/BF16 TFLOPS 125 250 ? 59 est
FP8 TFLOPS 250 500 ? ?
FP4 TFLOPS 500 1000 ? ?
NPU TOPS NA NA 38 50
Max Mem Cap 128 GB 128 GB 128 GB 128 GB
Mem BW 273 GBps 273 GBps 546 GBps 256 GBps
Runtime CUDA CUDA Metal ROCm / HIP
Price $3000-$3,999 $3.499 $3,499-$5,899 $1999+
  • 544 megtekintés

Szóval erről is csak azt lehet elmondani, mint a Strix Haloról. Azaz nem váltja ki igazán a hagyományos PC AI szörnyeteget Geforce kártyákkal. Viszont keveset fogyaszt, így ha 0-24-ben otthon működő AI -hoz kell gép megfontolandó. AMD Strix Halo-val összevetve valamivel több mint 2x gyorsabb AI-ra, de ARM alapú és a Jetson userek eddigi frusztrációiból kiindulva ez sok jót nem jelent jövőbiztosságban. Elég reális forgatókönyv, hogy az Nvidia addig fogja aktívan támogatni a DGX OS-t az adott DGX Spark generációra amíg meg nem jelenik az utóda. Utána talán az Ubuntu mögötti közösség kitartásában lehet bízni. 
Az AMD Strix Halo melletti érv, hogy x86 és biztosan lehet válogatni az OS-sek közül jó sokáig. Bár fele teljesítmény de az ára is a fele. Ha egyébként is van egy "vastag" AI PC fejlesztésre szerintem jobb választás marad mellette a Strix Halo. 

“Az ellenség keze betette a lábát”

Nézegettem, de jelenleg nem éri meg. 10 ezer forint havonta egy AI előfizetés, ez meg ilyen 2.5 millió forint, szóval nagyjából 20 év alatt hozza be az árát. Az irány jó, de szerintem most ott tartunk mint amikor bejöttek a milliós plazmatv-k amik most 150-200-ért mennek. 

Az Enterspájz előfizetés már 200 euró körül jár havonta. Azzal már éveken belül megtérül. Igazából két esetet látok, amiért megéri az otthoni AI PC. Cenzúrázott területen dolgozol, például infóbiztonság ahol nem hajlandó segíteni megfelelően az AI előfizetés. 

Illetve az ennél sokkal fontosabb, te magad akarsz jártasságot szerezni AI működtetésben vagy pláne fejlesztésben. Az jobban növelheti a fizetést mint amibe kerül. Egyébként a 200 eurós havi előfizus AI otthoni méltó párjához kell egy Deepseek r1 671b is mások mellet vagy valamelyik hasonló opensource finetuned verziója. Az pedig még kvantálással sem fér bele ezekbe a kompakt gépekbe mert még több ram kell hozzá.  Ahhoz "vastag" AI pc kell. 

Saját AI fejlesztésre viszont elég egy ezeknél egy kategóriával gyengébb gamer PC is, lehetőleg Nvidiaval.

“Az ellenség keze betette a lábát”

Jó, de ha infobiztonság fontos a cégnek, akkor majd a cég megveszi a megfelelő rendszert, nem saját zsebből fogok kipörgetni 2 milliót. Saját AI fejlesztés-tanuláshoz egyébként tényleg teljesen jó egy videókártya, én is azt szoktam használni. Alternativaként lehet bérelni GPU-t is cloud-ban, bár még nem számoltam hogy megéri-e erre a célra.

( ggallo | 2025. 10. 15., sze – 21:20 )

Nem kapcsolódik szorosan a topic-hoz, de a "self-hosted" AI-hoz igen a kérdésem:

Az otthon futtatott AI-nak honnan van a tudásbázisa?

Minden AI cikk leírja, hogy a világ összes tudását beletöltötték már az AI-kba betanításra, perek, viták vannak belőle, etikai, jogi, anyagi kérdéseket vet fel, stb. Ez elképesztő mennyiségű adat, idő és gépidő.

Ezt hogyan kell elképzelni otthon futtatott AI esetén? Nyilván nem én töltöm bele a tudást, hanem veszi valahonnan. Oké, hogy nem juttatja el az általam megadott adatokat az AI tudás forrásához, de mégiscsak függök attól, akitől az AI tudásbázist "kapom"? Vagy tök máshogy van ez?

Nem néztem eddig utána, ha valaki TL; DR leírná, megköszönném.

A kérdésed teljesen jogos! De a dolog egyszerűbb, mint gondolnád.

A tudásbázis bele van "sütve" a modellbe, amit letöltesz. Nem az elképesztő mennyiségű tanítóadatot töltöd le, hanem a végeredményt: a már betanított mesterséges agyat.

Egy analógiával élve képzeld el úgy, mint egy programot:

Tanítóadatok: Ez a program forráskódja (petabájtok).

Betanítás: A fordítás (compiling) folyamata, ami hónapokig tart szuperszámítógépeken.

A letöltött modell: A kész, lefordított .exe fájl (pár gigabájt). Neked már csak ezt a kész programot kell futtatnod, a forráskód nem kell hozzá.

Honnan jönnek ezek a modellek?
Nagy cégek (DeepSeek, Meta, Google, Mistral stb.) végzik el a drága betanítást, majd közzéteszik a kész modellt.

Függsz tőlük?
Igen is, meg nem is. Az alapmodellt ők adják, de itt jön a képbe az, amit te is tehetsz otthon:

Finomhangolás LoRA, azaz Low-Rank Adaptation: Ez a leggyakoribb otthoni módszer. Nem kell az egész modellt újratanítanod. A LoRA olyan, mintha a kész  mesterséges agyhoz egy kis Post-it cetlit csatolnál a saját, specifikus tudásoddal. Ez egy rendkívül hatékony módszer, amihez már egy jobb videokártya is elég. Kettő meg pláne! :-)

Közösségi módosítások: A nyílt forráskódú közösség, aminek a Hugging Face a központi oldala, fogja ezeket az alapmodelleket, és tovább finomítja őket. Eltávolítják a cégek által beépített korlátozásokat (uncensored modellek), vagy egy specifikus feladatra (pl. kódírás, kreatív írás) specializálják őket.

Tehát a gyakorlatban:
Letöltesz egy kész modellt, akár a cég eredetijét, akár egy közösség által módosított, jobb verziót, és azt futtatod a saját gépeden. A tudás már benne van, és az adataid soha nem hagyják el a gépedet. És a tök felesleges korlátozások alól is feloldhatod. Törjünk fel egy rendszert? Mi az hogy!! :-) Nincsenek hamis moralizáló megfontolások. 

“Az ellenség keze betette a lábát”

Az írott angol wikipédia mindössze néhány gigabyte. Betömörítve sokkal kisebb, az LLM pedig gyakorlatilag egy veszteséges tömörítés, ami alapján hasonló szövegeket lehet gyártani (lehetne szó szerint is visszaadni, de az nem hasznos). A komolyabb nyílt modellek néhány száz gigabytosak, jóval több ismeret fér el bennük, mint a wikipédián. Szóval az igazság az, hogy letöltöd a tudás nagy részét. Az újabb modellek már nem a tudás mennyiségében versenyeznek, hanem az érvelés pontosságán, azokat pedig sokszor generált, mesterséges példákkal tanítják meg nekik. A következő generációs modellek valószínűleg "világmodellek" lesznek, amiknek több a fizikai intuíciója és talán kevesebbet hallucinálnak.

( SkyNET | 2025. 10. 15., sze – 23:05 )

az apple m2 ultra unified memory bandwith 800GB/s és ha jól emlékszem 192GB lehet a memória. Illetve talán 70 fizikai cpu mag van benne. Ami csak annyiban érdekes hogy egy ilyen workstation pl. fejlesztői gépként a local llm mellé fut majd még alighanem egy docker compose jó pár konténerrel, ide, böngésző stb. Memória mérete, cpu magok száma egy ilyen integrált eszközben nem mindegy. 

Nem túl valószínű, ha a Apple M4 Max is csak 546 GBps.

na de nem az M2 Maxot, hanem M2 Ultrat írtam, az Ultra vonal egy másik teaház. M4 Ultra szerintem még nincsen.  

"Its unified memory architecture supports up to a breakthrough 192GB of memory capacity, which is 50 percent more than M1 Ultra, and features 800GB/s of memory bandwidth — twice that of M2 Max"

https://www.apple.com/hu/newsroom/2023/06/apple-introduces-m2-ultra/

a cpu magok számában tévedtem, gpu magból van 76 és cpu magból 24. 

Az M3 Ultra sávszélességben nem ad sokkal többet, cpu magból 32 gpu magból 80 lehet, memóriából meg 512GB. 

Igazad van, valóban nagyobb a korábbi generációs M2 Ultra memória sávszélessége. Ha tartják az eddigi Max/Ultra arányokat akkor ha megjelenik az M4 Ultra, ram sávszélessége 1000 GBps felett is lehet. 

“Az ellenség keze betette a lábát”

( jevgenyij | 2025. 10. 16., cs – 11:46 )

  Nvidia DGX Spark Nvidia Jetson Thor Apple M4 Max AMD Ryzen AI Max+ 395
OS DGX OS (Ubuntu) Jetson Linux (Ubuntu) macOS Windows / Linux
FP/BF16 TFLOPS 125 250 (dense) ~20 59
FP8 TFLOPS 250 1000 (sparse) ~20* ~118 est
FP4 TFLOPS 500 2000 (sparse) ~20* ~236 est
INT8 TOPS ~250 (GPU) ~500 (GPU) 38 (NPU) 50 (NPU)
Max Mem Cap 128 GB 128 GB 128 GB 128 GB
Mem BW 273 GBps 273 GBps 546 GBps 256 GBps
Runtime CUDA CUDA Metal ROCm / HIP
Price $3000-$3,999 $3,499 $3,499-$5,899 $1999+

 *Nincs hardveres gyorsítás. A TFLOPS érték nem skálázódik; a teljesítmény a csökkentett memóriahasználatból és sávszélesség-igényből fakad.

 

A fenti táblázat AI becslésekkel kibővített változata. 

“Az ellenség keze betette a lábát”

( Sixday v | 2025. 10. 16., cs – 14:30 )

Szerkesztve: 2025. 10. 16., cs – 14:31

Nagyon vicces látni hogy mindenki a neten (nem csak itt hanem redditen, tesztelő weboldalak, stb.) azon vergődik hogy mennyit tud, milyen más hardware-ekkel lehet ár/érték arányban összehasonlítani, jaj a legújabb 5090 erősebb, Apple Metalhoz hasonlítgatják, stb., közben a termék alapvető koncepciójáról sincs lövésük.

Mint ahogy a neve is elárulja (spark, szikra), ez a gép gyakorlatilag egy mini fejlesztői környezet az Nvidia DGX rendszeréhez.

A DGX pedig az ipari szuperszámítógépes AI megoldása az Nvidia-nak, ez az a komplett rendszer (hw+sw) ahol többezer GPU meg többezer terrabyte memória van, mega/gigawattos méretekben.
Pl. részben ezen fut a ChatGPT is.

A DGX spark ennek a lokális fejlesztőkörnyezete, ami ezen fut az a nagy DGX-en is futni fog és csak ez számít. Azok a cégek a célközönség akik rendes DGX felhasználók mert azzal teljes mértékben kompatibilis, nem pedig az egyéni felhasználók.

Az hogy a többi AMD/Apple/PC megoldásnak a sparkhoz képest milyen a token/dollár aránya innentől kezdve pedig másodlagos, mert a spark kvázi egy SDK, nem önálló termék.

Hát igen, ez valóban AI dev gép. Nézzük mennyi ideig is tartana egy deepseek r1 70b méretű AI llm betanítása rajta. Kell persze egy jó nagy, 10TB-os M.2 SSD mert ramból sajnos hiány van, úgy System Memory Offloading trükközéssel úgy 3800 év alatt meg is vagyunk vele. Pöpec kis AI dev gép ez! :-D
Utána már mehet is a nagy DGX-re. 

“Az ellenség keze betette a lábát”

Full model tanítás dev gépen? Vannak bajok látom :)))))

Céges környezetet ahol 10-nél több ember foglalkozik ezzel láttál-e már valaha? Mert ha jól sejtem nem.

Normális helyen ez úgy néz ki hogy lokálban a fejlesztők összerakják a logikát, kis tanítás és result ellenőrzés, utána már az alpha/béta környezet is felhőben fut és kapja meg a teljes tanítást. Nálunk pl. AWS GPU instance-okon.

Ott van vas hozzá, skálázható, párhuzamosítható, van S3 vagy egyéb többé-kevésbé végtelen storage, arról nem beszélve hogy van mentés, több párhuzamos tanítás tud dolgozni ugyanabból a training data-ból mert mindenki hozzáfér (így lehet faszán validálni az elkészült modelleket, pl. mikor elkészül egy training dataszetted akkor simán letiltasz minden írást az S3 bucketről, csak readonly, innentől kezdve garantálható a training data integritása és hitelesen lehet validálni a tanítások eredményeit ugyanazon a dataszetten. Sok sikert ezt megoldani független fejlesztői gépeken úgy hogy elég sávszélje legyen 10 gépnek egyszerre a nas-hoz.) és még sorolhatnám a végtelenségig az előnyöket.

A Spark lényege a fentiekhez képest annyi hogy ugyanaz a DGX os+framework fut rajta mint a nagy rendszeren, kicsiben elkészül a váz és mehet fel mindenféle változtatás nélkül.

Bárki aki arra hegyezi a témát hogy mit tud futtatni lokálban az egyszerűen amatőr és fogalma sincs róla hogy működik manapság az AI fejlesztés vállalati környezetben.

"Full model tanítás dev gépen? Vannak bajok látom :)))))"

Önreflexióval vannak bajok nálad úgy látom. Szerinted mire utalt a 3800 évecske? 

A logikád a legfontosabb ponton bukik meg:

Ha egy fejlesztő egy olyan cégnél dolgozik, ahol már van egy bikaerős AWS/Azure/DGX/Akármi felhős infrastruktúra, miért a bánatért iktatna be a munkafolyamatba egy 4000 dolláros, asztali "mini téglát"?

A te általad vázolt "profi" munkafolyamat így néz ki: Fejlesztő (Notebook) -> DGX Spark (az asztalon) -> AWS/DGX/AI_Akármi felhő (a nagy rendszer)

Ez teljesen logikátlan. A valódi profi munkafolyamat így néz ki: Fejlesztő (Notebook) -> Kisebb Dev Instance (az AWS/DGX/AI_Akármi felhőben)

Miért? Mert olcsóbb, rugalmasabb, és 100%-ban ugyanabban a környezetben dolgozik, mint ahol a végső tanítás futni fog. A te logikád szerint a DGX Spark egy drága és felesleges köztes lépés lenne.

Akkor kinek is készült valójában a DGX Spark? Pont azoknak, akiket te "amatőrnek" nevezel:

Egyéni kutatóknak és fejlesztőknek, akiknek NINCS hozzáférésük egy több millió dolláros DGX klaszterhez.

Kis startupoknak, akik a felhőköltségek töredékéért akarnak nagy modellekkel kísérletezni.

Olyan cégeknek, ahol a szenzitív adatok miatt a felhő használata szóba sem jöhet (pl. egészségügy, hadiipar).

Bárkinek, aki offline akar dolgozni, és nem függeni a hálózati kapcsolattól.

A Spark nem egy "SDK" a nagy DGX-hez. A Spark egy önálló termékkategória: az első, viszonylag megfizethető eszköz, ami a szuperszámítógépek képességét (az óriási modellek futtatását) hozza le az egyéni fejlesztő asztalára.

“Az ellenség keze betette a lábát”

Ott a pont!

Sixday próbálja eljátszani, hogy ő a veterán senior vérprofi nagyvállalati AI-fejlesztő, miközben az AI láz csak pár éve tart. Még a nagyok is kísérleteznek, eddig nem hoztak Magyarországra tömegesen AI fejlesztői állásokat. De nagyon megmondja a tutit aminek semmi értelme, ROTFL!