NVIDIA CEO: ami másnak 4 évig tartott volna, azt Elon megépíttette 19 nap alatt

Címkék

Az Elon Musk vezette csapat 19 nap alatt építette meg azt a 100 000 darab NVIDIA H200-ból álló szuperszámítógépet, aminek a megépítése Jensen Huang, az NVIDIA vezérigazgatója szerint másnak évekig tartana:

Amennyire én tudom, egyetlen ember van a világon, aki képes erre; Elon egyedülálló a mérnöki és építési, valamint a nagy rendszerek és az erőforrások felosztása terén; egyszerűen hihetetlen.

Hozzászólások

Az elmúlt évtizedek visionary-jait (beleértve a túlhypolt Jobs-t is) megnézzük, Musk minden valószínűség szerint köröket ver rájuk:

  • űrkutatás
  • Starlink
  • mesterséges intelligencia
  • robotika
  • stb.

(és akkor a kommersz szarokat, mint a Tesla nem is említem)

trey @ gépház

A botok egyreszt elotte is leteztek a Twitteren, masreszt ezzel parhuzamosan mindenhol mashol is elszaporodtak. A Meta se bir veluk, Threads-en is csak botok meg onlyfans scammer kurvak vannak. Google se bir veluk, a sok AI generalt crap videoval a Youtube-on meg vegkepp nem. A bot jelenseg nem X/Twitter specifikus. Sajnos.

Bar a twittert is utaltam es az X meg szarabb lett, de minden mas is hasonlo utemben valt kozben egyre szarabba, ahogy 80-as IQ-ju rosszindulatu es gyenge kognitiv kepessegekkel rendelkezo emberszabasuak kezebe adtunk (onmagukhoz kepest) powerful AI toolokat. En igy latom.

Pontosan mit tud vagy akár ígér a Neuralink, amivel nem 30-40 éve kísérleteznek ? 30 éve már konkrétan volt olyan elektróda mátrix ami vakokba beültetve alak (pl betű) felismerésre alkalmas volt.
Neurális hálózatok tantárgyon tanultam róla (akkor) ... Nyilván amit ígér az teljesen újszerű minőség lesz, de szó sincs arról hogy "senki még csak nem is gondolkozott korábban".
 

Attol fugg, hogy honnan szamoljuk a "projekt" kezdetet.

Lehet hogy mar evek ota dolgoztak mernokok a kistestveren, csak most volt egy dontes, hogy kellene egy nagyobb. Ez a 19 nap HW beszerzes szempontbol is kevesnek tunik.

Minel jobban belegondolok, annal nagyobb hulyeseg ez a kijelentes.

Egy ekkora szuperszamitogep bazinagy datacentert igenyel, az kizart, hogy 19 nap alatt epitettek fel. Ha pedig azt mar elokeszitettek szamara, akkor nem jo pontrol szamoljak a projekt kezdetet. Ha ezeket mind belevesszuk, akkor lehet hogy ugyanaz a tobb ev jon ki mint masnal.

Maga a datacenter sem épülst sokáig, de Jensen az interjúban pontosan elmondja: 

"from the moment of concept to a data center that's ready for NVIDIA to have our gear there, to the moment that we powered it on, had it all hooked up, and it did its first training"

Tehát az infrastruktúra megvan, megérkezik a teherautó a gpu-kal, onnan számolhatják: de a folyadék hűtés és bekábelezés rákötés, beüzemelés az első sikeres tesztfuttatásig, na az 19 nap volt. Máshol ennyi cuccot beszerelni éves projekt.

Az infrastruktúrárol azt olvasni, hogy június elején még tervezték az építését és most októberben már a benne lévő 100k gpu dologzik. Az új irodánk felújítása 2021-ben kezdődött és még nem sikerült megszerezni mind a 4 szerződést az mvm-től az áramszolgáltatásról :D A legtöbb cég annyira hatékonytalan, hogy egy életet le lehetne élni, mire egyáltalán valamit sikerült megcsinálni.

Esetleg szamolhatod onnantol is, hogy a naprendszer helyen korabban volt egy csillag, ami fuzioval valamikor legyartotta ezt a sok sziliciumot, amibol a Fold is lett. Akkor rogton milliard evek jonnek ki. Vagy visszamehetsz az osrobbanasig is.

A strange game. The only winning move is not to play. How about a nice game of chess?

Lehet 10ks konténerekben kapta készen. ;)

Ha letezne is ilyen kontener, azoknak aligha lenne 19 nap alatti a lead time-juk.

Eleve a HW elhajoztatasa Tajvanbol USA-ba tobb ido.

De nezhetjuk az elejet is: Ha Musk egyik reggel ugy ebredt, hogy kell neki egy ilyen, akkor kiszamolni a HW igenyt, arajanlat, board penzugyi jovahagyasa, PO, ilyesmik se fernek bele 19 napba. Es akkor meg egy kapavagas se tortent.

Nagy cegeknel (ahol vannak kulso befektetok) van board, ahol a nagy dontesek szuletnek. Pont azert, hogy nehogy egy bekattant CEO elherdalja a befektetok penzet. Namarmost ha van ilyen board meeting, oda tervekkel es arajanlattal szokas menni. 100k GPU-t nem listaaron szokas megvenni, a discount kialkudasa se egy-ket nap. A board se minden nap ul ossze. Es meg folytathatnank.

Es most aki tudja, hogy mi az a DKU, az elmorzsol egy konnycseppet... :,,-)

Alul leirtak, de jogos, bocs, telefonrol nem hasznalok ekezeteket.

Amugy a lenyeg az, hogy egy beszerzessel ugy erdemes tervezni, hogy ha nincs vele semmi gond, akkor 9 honap mire megerkezik a vas.

A bevezetes egyik oka az volt, hogy a kozpontositassal elvileg majd megtakaritas erheto el az egesz orszagot nezve. A gxakorlat viszont sajnos azt mutatja, hogy mivel a legtobb DRP -ben hulyen mutat az elso sor, miszerint "Ha beszart a szerver, vegyel ujat; addig is ertesitsd ki az erintetteket, hogy 9 honapig csokken a szolgaltatas minosege...", a cegek annyira bekeszleteznek elore, hogy emiatt nem hogy megtakaritas nincs, de van ahol massziv rafizetest okoz a DKÜ lassusaga.

Kicsit vicces amikor egy allami ceg szabotalja a masik allami ceget, a kitalaloi bizonyara a zsakban futast vettek alapul, es az vegul is szorakoztato... A nezoknek. :-)

szerk: bocs, egy hozzaszolassal feljebbre akartam valaszolni.

Digitális Kormányzati Ügynökség. A legtöbb állami szerv (pl. oktatási intézmények, én ott találkozok vele) ezen keresztül szerezheti be az IT eszközeit.

A folyamat úgy megy, hogy ha az adott intézménynek megvan rá a pénze (tehát nem kérni kell és adják), akkor engedélyezteti a beszerzést a számára megfelelő felettes szervvel, majd a DKÜ-n keresztül megrendeli. Tehát pénz van, engedély van, rendelés bement. Innentől jellemzően hónapok, mire a kívánt eszköz megjön. Nagyjából semmi infó, hogy mikor vagy miért nem. Vagy nem jön meg, mert már nincs, és akkor kezdődik elölről az egész...

Ezen felül nem lehet bármit venni, hanem csak az ott "kapható" eszközökből lehet választani az ott jelen lévő cégektől. Ezek jellemzően min. 2x annyiba kerülnek, mint ugyan az a termék bárhol máshol.

Ez valami "minden fasza" típusú propaganda hír lehet, akár az M1' is leadhatta volna....

A google nem volt segítségemre, hogy szerepelt-e már itt az ausztráliai akkupakk kivitelezése.

2017-ben volt.

https://www.abc.net.au/news/2017-11-23/worlds-most-powerful-lithium-ion…

https://villanyautosok.hu/2017/07/07/vilag-legnagyobb-akkumulatorat-epi…

https://villanyautosok.hu/2017/11/23/elkeszult-az-elon-musk-altal-megig…

Az elmúlt évben Dél-Ausztrália energiarendszere a szélsőséges időjárás következtében többször is összeomlott, ami ahhoz vezette a helyi döntéshozókat, hogy egy sokkal megbízhatóbb, hosszú távon is fenntartható rendszert hozzanak létre, az ausztrálok számára már nem teljesen ismeretlen megújuló energiaforrások használatával. A szélenergia hasznosítására épülő projekthez egy 100 MW teljesítményű energiatároló egység megépítéséről döntöttek, melyet a hasonló programokban már rengeteg tapasztalatot szerzett Tesla el is vállalt. Nem is akárhogyan, ugyanis Elon Musk egy Twitter beszélgetésben megígérte, hogy a szerződés megkötésétől számított 100 napon belül elkészül az akkumulátorpark, ha pedig mégsem, akkor az energiatárolót teljesen ingyen építi meg.

A dél-ausztráliai projekt határideje december 1., de a helyi újságok már ma arról számoltak be, hogy az aksik telepítése teljes mértékben elkészült, már csak a rendszer tesztelése van hátra, mielőtt élesben is működésbe léphetnek. Ezzel a Tesla vezérigazgatója nem csupán teljesítette ígéretét, hanem 8 napot le is faragott az amúgy is szinte lehetetlennek tűnő 100 napos teljesítési időből.

Szopkodják itt egymás faszát, mert kell a reklám.

Legközelebb kiderül, hogy Elon leütötte Chuck Norrist. Kétszer. Becsukott szemmel.

Hagyjuk már...

...úgyis jönnek...

>1k GPU-s rendszerig lattam mar ilyet belulrol, 19 nap onnantol hogy megjott a sitera a hw dobozokban addig hogy elindult rajta a slurmel valami szerintem uberfaszakiraly, aki nem erti ezt, az nem dolgozik ilyen rendszerekkel -> kuka a velemenye.

100k db GPUhoz kell 100k 400Gbites switch port, tobb tierben (fat tree), altalaban racken belul DAC kabelekkel amik jo vastagok, iszonyat szivas kabelezni

a meta 26 ezer GPU-s clusterei honapokig epultek, osszehasonlitaskepp.

 

arrol mar ne is beszeljunk hogy nem egy webguin osszekattingatott halozat van (csak a leenugz huszarok kedveert) :)))

Igen, ha túl sokat ettem vacsorára, én is szoktam olyanokat álmodni, hogy a Lidlben Kim Dzsongun egy abakuszon számolja ki a végösszeget, miközben szigorú tekintettel azt kérdez: "Hűségkártyája van?!"

Én pedig hitet teszek neki hűségemről, és megesküszöm, hogy akciós ágvágó ollómmal elpusztítom az imperialista Aldiban vásárló HPC-programozó kutyákat.

Jensen azt felejtette el, hogy jelenleg 1+ ev varakozas van az NV AI gyorsítókra, tehat egy random cég projektje eleve 1 évről indul, mert előbb nemkap alapanyagot.

HUP te Zsiga !

Nem tudom, hogy fogalom nélkül vagy szövegértési problémák miatt beszélsz hülyeséget.

A 19 nap ott kezdődik, hogy mikor rakodhatnak le nvidia gpu-kat a teherautóról. 
Persze abban igazad lehet, hogy más cég talán csak akkor kezdi meg a beszerzést, amikor már kéne és ezért várnak rá sokat. A logisztikához is érteni kell.

az lehet a trukk, hogy komolyabb cegek pl Google, AWS, stb nem ugy letesitenek datacentert, mintha eletukben eloszor csinalnak, hanem mar ez is szet van automatizalva / optimalizalva, hogy gyors es hatekony legyen a letesites.

itt szerintem ennek lathatjuk egy kiemelkedo peldajat.

a 19 napot valoszinuleg nem ugy kell ertelmezni, hogy tamadt egy otletuk, hogy csinaljunk valamit, amit meg soha, hanem meghataroztak a celt es azert volt mihez nyulni, hogy mindezt hogy.

Elvileg a dolog ossze van rakva es mukodik, szoval a project veget lehet sejteni.

Az Nvidia vezetoje meg valoszinu tudja, hogy azt a 100k eszkozt mikor szallitottak le, ez meg nekik is jelentos mennyiseg.

Ha a 2 datum kozt 19 nap van, akkor letezhet ilyen modszer.

A strange game. The only winning move is not to play. How about a nice game of chess?

Azt a részét nyilván én is elhiszem, hogy össze van rakva és működik.

De az a 19 nap, az valahogy gyanús. Elképzelhető, hogy tévedek, de nekem úgy tűnik, hogy az eddigi hozzászólók közül NagyZ lehet az, aki tényleg látott már közelről ilyen cuccot és valóban tudja, mik a technikai nehézségek.

Ha tehát ő azt mondja, hogy nincs az az isten, hogy ez 19 nap alatt bárkinek összejöjjön kozmetikázás nélkül, akkor elhiszem neki azzal a záradékkal megtoldva, hogy aki avatottabbnak érzi magát nála, az cáfolja meg, ha bírja.

Az összes többi találgatás.

Ha az NVIDIA-s csávó mondja akkor fogadjuk el hogy durva teljesítmény, a jelenlegi szárnyalásuk alapján semmi szüksége nincs rá hogy Musk talpát nyalogassa.
Úgy általában Maskkal az a problémám hogy nagyon nehéz egy kórós hazudozó teljesítményét lemérni ...

Szerkesztve: 2024. 10. 24., cs – 18:12

Amit láthatólag senki nem vesz figyelembe, az az, hogy Musk az xAI-jal épp vendetta üzemmódban van Sam Altman "árulása" és az OpenAI cég non-profitból for-profittá alakítása miatt. Amibe az elején Musk befektetett, azon az alapon, hogy Open lesz az az AI, nem Closed, ahogy az jelenleg is áll.

Musk nem csak a legjobb AI-t akarja, hanem előbb akarja azt, és jobb minőségben, mint az OpenAI. Ki akarja őket ütni a jelenleg elfoglalt első helyükről. Nem feltétlenül csak üzleti megfontolások vannak a háttérben, hanem egy jó nagy adag bosszú is.

Az meg, ahogy látjuk, elég komoly teljesítményre ösztönözheti az embereket.

Szerkesztve: 2024. 10. 28., h – 21:48

Van már üzembejárós videó

Inside the World's Largest AI Supercluster xAI Colossus - ServeTheHome
https://www.youtube.com/watch?v=Jf8EPSBZU7Y

Ő 122 napot mond, de abban magának az adatközpont infrastruktúrának, építkezésnek az ideje is benne van, nem "csak" a gpu-k telepítése. Júmius elején cikkeztek arról, hogy adatközpont építését tervezik az Electrolux üzem területén/helyén.