AI lufi: apa, kezdődik!

Két dolog történt az utóbbi időben:

- Peter Thiel eladta az összes NVIDIA részvényét
- Warren Buffett látványosan bevásárolt Google részvényekből, miután bemutatták a saját TPU-s Gemini-t

Ahogy várható volt, a részvényesek ennek fényében elbizonytalanodtak, és az NVIDIA máris zuhanórepülésbe kezdett. Persze annyira túl van hypolva, hogy eltart még egy darabig, míg lebucskázik a trónról, de a trend egyértelmű és látványos.

Márpedig ha az NVIDIA bukik, az egész LLM-re felhúzott ökoszisztéma vele fog bukni, mert a Google egyszerűen nem rendelkezik elég kapacitással, hogy rövid időn belül átvegye a helyét. Talán marad egy-két nagy, akiknek már most le van zsírozva a TPU-s szerződésük, de mindenki más tutira beszopja.
És persze simán az is lehet, hogy a nagyok is beszopják végül, ha a folyamatban lévő monopóliumos eljárások a Google ellen feldarabolással zárulnak jövőre, és emiatt nem lesz képes teljesíteni, vagy ha csak simán képtelen lesz profitot realizálni az LLM-ekből.

Akár marad egy-két nagy, akár nem, a mostani LLM piac egész biztos meg fogja szenvedni az NVIDIA bukását, és a bizalomvesztésből nincs visszaút. Különösen egy olyan piac esetén, ami eleve légvárra volt építve, és annak ellenére, hogy elképesztő pénzeket öltek bele, nemhogy profitot nem termelt még, de még csak konkrét tervük sincs, hogy hogyan is lehetne belőle profit. Az, hogy "kisdobos becsszó, lesz majd AGI", nem éppen egy üzleti terv.

Hozzászólások

Rákerestem, mindkét cég amerikai. Szerintem viccelsz.

Rákerestem, mindkét cég amerikai.
Ahogy az LLM piac 99.9999999999%-a is. (Tudod, az olyan cégek, hogy pretty.format(chargpt.query(magic_prefix + user_input))).
Szerintem viccelsz.
Az egész LLM egy vicc. De szerintem nem érted, ami oda van írva: a mostani nagy játékos kiesik, az új játékos meg nem rendelkezik még elég kapacitással (pláne, ha feldarabolják, nem is fog). Mi nem érthető ezen?

Bzt már megint wishful thinking okoskodik, szokás szerint fogalom nélkül.

Képzelgése szerint, ha az NVIDIA mint egyetlen hardverforrás bukik, akkor az egész LLM piac vele bukik. Mert ő mást nem ismer.

Ez azért hibás, mert a kereslet nem tűnik el. Az igény az LLM-ek, a számítási kapacitás és az AI szolgáltatások iránt továbbra is növekszik.

Csak a hardver monopóliuma szűnik meg! Az Nvidia problémája nem az, hogy nincs kereslet a chipjei iránt, hanem az, hogy az eddig fizetett rendkívül magas prémium monopóliumárazása megszűnik, illetve megszűnőben van, mert megjelennek az életképes alternatívák. 

A Google TPU-s pozíciója a vertikális integráció erejét mutatja. Google már jó ideje rendelkezik házon belül azzal a saját AI hardver know-how-al a hw gyártásról (TPU) ami a legfontosabb piaci tényező.

Először is költséghatékony. A Google éppen a TPU-val lépi át az Nvidia-adót. Nem fizet dollármilliókat H100-as vagy B200-as kártyákért a külsős Nvidia-nak, hanem a saját házon belüli szellemi tulajdonát és gyártási tapasztalatát használja. Ez drámaian csökkenti az AI szolgáltatások, különösen a Gemini futtatásának költségét.

Másodszor nézzük a profithatárokat. Bzt hiányolja a profitot. A Google számára a TPU a profit realizálásának egyik fő útja ha a versenytársaknál, akik AWS-en, Azure-ön, Nvidia-n futnak 20 dollárba kerül egy tranzakció, a Google-nek saját hardveren futva talán csak 5 dollárba. Ez óriási hosszú távú versenyelőnyt és profitpotenciált jelent.

És végül a kapacitás. A Google nem rövid távon akarja átvenni az Nvidia helyét a globális chipgyártásban, hanem kizárólag a saját hatalmas belső igényeit szolgálja ki olcsóbban és hatékonyabban. Ez éppen elegendő ahhoz, hogy a versenyre kényszerítse az Nvidiát és más chipgyártókat.

És hogy mi lesz ebből? Átrendeződés és verseny! Ez a piacátrendeződés tehát nem az AI végét jelenti, hanem versenyt. Az AMD, Intel, és más custom chipgyártók mint a Google megjelenésével az AI chip piaca sokszereplőssé válik. Ez a verseny az árakat lefelé szorítja, a teljesítményt pedig felfelé.

Ez természetesen a fejlődés felgyorsulásához vezet. A magas profit-potenciállal rendelkező vertikális integráció, mint a TPU felgyorsítja az új generációs hardverek megjelenését, ami a modellméretek és a sebesség növekedéséhez vezet. 

Talán még arról sem hallott Bzt, hogy nem kell a teljes Nvidia know-how egy erős és versenyképes saját AI hardver gyártásához. 
Az Nvidia AI kártyái (H100, B200) is rendkívül specializáltak. Lényegében a teljes GPU-eszköztárból, amit egy gamer GeForce tud csak a gyors mátrixszámítási képességek és a nagy sebességű memória (HBM) biztosítása a kulcs. 
Egy Google méretű cég pontosan ezt a specializált funkciót képes házon belül, a saját TPU architektúráján keresztül sokkal gazdaságosabban megoldani. Ez a vertikális integráció teszi őket nagyrészt immunissá az Nvidia túlárazott hardverbeszerzéseivel szemben. 
Bár a CUDA az Nvidia szoftveres power-leg lába, a szoftverfejlesztésben mindig is erős Google már régóta pótolta ezt a saját keretrendszereivel (JAX, TensorFlow), amelyeket a saját hardverére optimalizáltak. A szoftveres függőség is megszűnt.

Ezért az Nvidia monopóliumának felbomlása nem a piac összeomlása, hanem a költséghatékonyabb, házon belüli megoldások előretörése.

Az "AI lufi" összeomlásáról fröcsögni ebben a helyzetben olyan, mintha valaki azt mondaná, hogy az autópiac összeomlik, mert a Toyota elkezdte maga gyártani a korábban monopolhelyzetben lévő Bosch alkatrészeket magának. A piac átalakul, és a verseny erősödik. 

Mit kell nezni? Tegnap visszament $180 fole az NVDA...

Mit kell nezni?
Nem a mikro- hanem a makrotrendet, meg a piac hangulatát. Hogy például a Meta is dobni akarja az NVIDIÁt és TPU-ból szeretne bevásárolni helyette (és gondolom mások is ezt tervezik).
Illetve azt, hogy a Google rendelkezik-e egyáltalán akkora gyártó kapacitással, mint most az NVIDIA. Erre a válasz egyértelműen nem, tehát az is kérdés, tud-e majd egyáltalán teljesíteni és szállítani.

Tehat amiatt panikolsz, hogy van egy potencialis konkurencia a lathataron, aki valoszinuleg nem fog tudni eleget szallitani. Tehat mi fog tortenni? Vesznek 10% TPU + 90% GPU-t, ergo semmi kulonos.

Meta is dobni akarja az NVIDIÁt

Ez egy alkudasi strategia. Nyilvan mindent megtesznek, hogy letorjek az arakat.

Tehat amiatt panikolsz
Miért pánikolnék? Röhögök a markomba! Én mindig is a Nyílt Forráskódú, ellenőrzött adatokon betanított, helyben futtatott LLM-ek mellett tettem le a voksom.
van egy potencialis konkurencia a lathataron, aki valoszinuleg nem fog tudni eleget szallitani. Tehat mi fog tortenni? Vesznek 10% TPU + 90% GPU-t, ergo semmi kulonos.
Látom semmit nem értesz. Az NVIDIÁval ellentétben a Google TPU-jait nem tudod fizikailag megvenni, a számolási kapacitásukat lehet csak bérelni felhőben. Nem lehet megosztani, vagy ez, vagy az. És ha a felhő, akkor csak egy újabb single point of failure, immár nemcsak a kishalaknál, hanem a nagyoknál is. Ha ez összejön, és a bíróság elkaszálja a Google-t, akkor azzal magával ránt mindenkit, aki most TPU-ra tesz. Ha nem tud kellő kapacitást villantani, akkor is. Ha nem képes a mostani feneketlen pénzvermet profitálható modellé alakítani, akkor is.
Nyilvan mindent megtesznek, hogy letorjek az arakat.
Dehogy, ha nyilvánosan felvállalnák, hogy túl van árazva az NVIDIA, azzal csak beismernék, hogy egész idáig egy lufit fújtak, és semmi alapja sincs az eddigi pénzszivattyújúknak.

Én mindig is a Nyílt Forráskódú, ellenőrzött adatokon betanított, helyben futtatott LLM-ek mellett tettem le a voksom.

És az min fog futni?

Nem lehet megosztani, vagy ez, vagy az.

Nincs olyan, hogy valamit nem lehet megosztani. Majd itt is megtanuljuk, mint már oly' sokszor a felhős tervezésekkor, hogy lehet horizontálisan is skálázódni, nem csak vertikálisan.

Nyílt Forráskódú, ellenőrzött adatokon betanított, helyben futtatott LLM-ek

Nyílt súlyú frontier modell nem sok van. A gpt-120b-oss modellhez inkább datacenter erőforrás kell, de még a lobotomizált 20b-t is min futtatod helyben, valami milliós nvidia gpu-n. Egyébként is az oss dataset lenne a fontosabb, nem az open weight, azt persze nem gyakran osztja meg senki. 

gpt-120b-oss modellhez inkább datacenter erőforrás kell

Ezt miért mondod ilyen határozottan? A gpt-oss-120b-F16 60Gb körül van az én Xeon-os, 256Gb DDR4-es workstationom-ön GPU segédlet nélkül 10t/s-el fut. Meg is lepődtem, a többi modell GPU nélkül max. 2t/s-t szokott produkálni.

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

gpt-oss-120b-F16 [...] 10t/s

maradva desktopnál high-end 3090/24GB kártyával a desktopra szánt 20b mxfp4 gguf flash attention-el (linux) kisebb contextnél messze >100 t/s

Meg is lepődtem

tényleg meglepő hogy FP16-al CPU-n számolva még ha MoE is 10 t/s 

Xeon-os, 256Gb

desktop világban ez ritka kapacitás, de még így is csak 10 t/s. Datacenterben bérelve h100 80GB vram gpu kapacitást egészen más sebességet kapnál

Nem vitatom amit írsz, de itthoni használatra a gpt-oss-120b a 10t/s-el bőven jó. Nagyon nem kell Datacenter, de még 256Gb RAM sem, 80 vagy 96Gb szerintem simán megy. Ez azért már nem annyira ritka.

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

Elmegy egy 16 gigás kártyán

"elmegy" vs "használat" - kérdés mi a célod. Amivel lokálisan gördülékenyen lehet használni, az egy (szerintem) elég drága desktop konfig. Az összes saját pénzből magáncélra vett hw-em laptop, monitor, tablet, telefon, router stb nem kerül annyiba mint egyetlen NV3090/24GB kártya volt újkorában, amit fentebb írtam. De kell neki hogy jól fusson, pedig az oss-20b desztillált, kvantált, moe modell, kiokosított futtatókörnyezettel, és persze inferencia/reasoning használatról beszélek. Ezt is jobban megéri esetleg bérelt kapacitáson használni, lehet kisebb erőforrásokat is taláni nem csak H100 clustereket. Viszont a nagyobb modell, normális sebesség követelmény, esetleg több felhasználóval pedig már tényleg datacenter hw-re való. Tréning még sokkal nagyobb erőforrásigény.

Én használom. Semmi gond nincs vele, bőven jó sebességgel megy (40-50 t/s környékén) , érzésre nem igazán szarabb localban ez, mint a gemini pl. Az tény, hogy a hostolt chatgpt kibaszott villám.

Tény, hogy egy viszonylag drága desktop konfigon megy, de az egész nem volt 1 misi, közel sem, az állítás pedig az volt, hogy "milliós nvidia gpu" kell hozzá. Nem, a gpt-oss 20b-hez pont nem kell, 200k-ért válogathatsz olyanból, amin good enough.

Ettől természetesen tény, hogy hamar arcra esel egy csomó esetben egy 16 Gigás kártyával, és messze nem mindenre lesz elég.

NV biztos nem bukik, egy kis gyengülés meg nem árt nekik, meg nekünk se...

Nem NV, de AI téma ez is. Úgy jön ki az új börcipó, hogy a  nyáron 70 ezres ddr5 ramokat, (64 GB)  most 200 000 ft-.ért veszed, Ha kiosztották bérnek az persze más. Akkor marad a kitaposott. 
Azt javasolják, hogy most vegyél, mert jövőre már nem kapod meg ilyen jó áron. 

Természetesen. A videókártyával csak ajjajjozni lehet, ha nem megy az ajjajj akkor kidobandó kacat, a cég elektronikai hulladékot termel. 

Kedves tech-jós: mikor fog megbukni az nvidia? elég ha nagyjából időtávot mondasz.

Márpedig ha az NVIDIA bukik, az egész LLM-re felhúzott ökoszisztéma vele fog bukni,

Na jó, de ez hogy jön abból, hogy picit esett az NVidia árfolyama, mert a google is árul TPU-t?

Ez kb. olyan, mintha azt mondanád, a windows-ban találtak egy 0day-t, holnapra összeomlik a desktop OS piac!!!!44!4!!

 

Ez nem így működik. Egyrészt, az nvidia masszív teljesítményt tud adni, és az fp16/32 lényegesen nagyobb precizitást ad, mint az int8.

Másrészt, a meglevő modellek -meglepetés, meglepetés- bizony gyakran nvidia GPU-ra elérhetőek könnyen. Persze lehet transzformálni, de időbe telik egy adott gpu-ra rendesen parallelizált modellt átalakítani, már amennyire most meg tudom ítélni, ez nem 2 perces feladat.

A harmadik, csak azért, mert google is tud szállítani TPU-t, még nem lesz hirtelen a piac 90% -a google-é. Ahhoz konzisztensen tudnia kellene szállításokat vállalni, megbízható ecosystem-mel, és legfőképp: a meglevő nvidia ügyfelek nem fognak csak úgy 1 perc alatt átállni, ahhoz idő kell, addig meg az nvidia is elő fog állni valamivel, amivel megtartja az ügyfeleit, ne aggódj.

 

A nagycéges környezet nem startup; tehetetlensége van a meglevő business process-eknek, egyszerűen a súlyuk miatt. Sok embernek sokat kell tennie, hogy megváltozzon az irány, és önmagában az is sok idő és pénz, nem csinálják "csak úgy".

 

Amit ténylegesen írni akartál, szerintem az, hogy tök jó, hogy van egy új játékos a TPU-k piacán, annál olcsóbb és jobb lesz mindenkinek minden. Ez igaz.

Na jó, de ez hogy jön abból, hogy picit esett az NVidia árfolyama, mert a google is árul TPU-t?
Hát úgy, hogy a zászlóshajó értékvesztése kipukkasztja a lufit. Ha a neves befektetők elkezdik eladni a részvényeiket (ami megtörtént), abból könnyedén tőzsdepánik lehet, különösen akkor, ha ennyire nyilvánvalóan túl van értékelve minden (nemcsak az NVIDIA, hanem a többi AI cég is irreálisan magas értéken forog a tőzsdén).

Amiről te beszélsz, az az ideális Adams-i piac, csak hát a valóság rohadt távol áll attól.
Sok embernek sokat kell tennie, hogy megváltozzon az irány, és önmagában az is sok idő és pénz, nem csinálják "csak úgy".
Mondd csak, láttad te, mi történt, amikor kidurrant a dotcom lufi? Nagyon gyorsan megváltozott az irány, nagyon gyorsan nagyon sokan nagyon sokat vesztettek, és a "nagy súlyú" cégek mentek a kukába. Hol van most az AltaVista, Palm, Transmeta? Mind "nagycég" és jó nagy súlyú volt, mára hírmondójuk sem maradt.
Amit ténylegesen írni akartál, szerintem az, hogy tök jó, hogy van egy új játékos a TPU-k piacán
Még véletlenül sem ezt írtam.

a "nagy súlyú" cégek mentek a kukába. Hol van most az AltaVista, Palm, Transmeta? Mind "nagycég" és jó nagy súlyú volt, mára hírmondójuk sem maradt.

Az AltaVista a Compaq-felvásárlás után lett elcseszve, amikor kitalálták, hogy a netes kereső hülyeség, a Yahoo-t kell másolni. Nem kellett volna, de ennek nem sok köze van a dotcom lufihoz.

A Palm irrelevánssá vált, a HP végül megvette, de ők sem kezdtek vele semmi egy okostelefonok felé forduló piacon. Talán végtelen pénz elégetésével be lehetett volna szállni a smartphone versenybe, de ennek sem sok köze van a dotcom lufihoz.

A Transmeta IPO-ja annyira sikeres volt, hogy egészen a Google-ig senki nem hozott ilyen eredményt, a dotcom-lufi pukkanása ugyan odavert, de utána még vagy 6 évig pörgött a licencelés-biznisz. Többek között az Intel és az nvidia felé is. Én ezt is legfeljebb közvetve írnám a dotcom-lufi számlájára.

2. na és, ha közvetve buktak bele, akkor az talán már nem is lenne bukás, vagy mi?

Volt az ismerősi körben ilyen sztori, hogy a nagypapa a háborúban halt meg, aminek a mélyére ásva kiderült, hogy a papa hazajött a háborúból, majdnem 10 évig ivott, és elvitte az alkohol.

A papa a háborúban halt meg?

És mostanra a google vált tök használhatatlanná, és van tele pakolva színültig reklámmal. Már senki rá sem néz, mindeki a ChatGPT-t kérdezi helyette.
Bármibe lefogadom, hogy a nem is olyan távoli jövőben pont ugyanerre a sorsa jut majd a ChatGPT is. A használhatatlan már alakul, a reklámokra sem kell sokat várni.

Légyszi március végén is terjesszétek ezt a buta pánikot, mert olcsón szeretnék bevásárolni a stocks & shares ISA keretén belül áprilisban.

Lazán kapcsolódik: How Nvidia GPUs Compare To Google’s And Amazon’s AI Chips

Azoknak is érdemes megnézni, aki(k) szerint a Google nem rendelkezik akkora "gyártó kapacitással" mint az Nvidia:) Ugyanis kiderül belőle, hogy sem a Google-nek, sem az Nvidia-nak nincsenek saját fab-jai. Szóval semekkora "gyártói kapacitással" nem rendelkezik egyik sem:) Mindketten a TSMC-nél gyártanak. Nyilván számít ki mekkora volument és mikorra tud lekötni a TSMC-nél. Valószínűleg a Google az Nvidia mellett is elég fontos ügyfél arrafelé. Illetve már nem csak a Google TPU-ról van szó mint Nvidia alternatíva ahogy írtam fentebb, kezdődik a költséghatékonyabb, házon belüli megoldások előretörése. 

Ez egy zagyvaság. A részvényárfolyamok pedig rendkívül kevés kapcsolatban állnak egy vállalat vagy iparág jövőjével kapcsolatban. A lufit fújják mint az állat és mindenképpen korrigálódni fog ez az őrület, mert a reálgazdasághoz igen keveset ad hozzá valamint a nagyon kritikus helyekre nagyon sokan helyi megoldásokat fognak alkalmazni a felhősök helyett. 

Jó lenne, ha bukna már, de valami azt súgja, hogy olyan szerencsénk nem lesz. A kriptovalutás hülyeség is még húzza ennyi év után, az AI körül is van annyi hájp, hogy a befektetők mindig is össze fogják rá dobni a pénzt. Sajnos, pedig nagyon örülnék én is, ha beleállna a földbe.

“Linux isn't an OS, it's a troubleshooting sim game.” (a YouTube commenter)

Jó lenne, ha bukna már
Hát, ami késik nem múlik. De az tény, hogy csúnya bukta lesz, rengeteg elpazarolt erőforrással.
A kriptovalutás hülyeség is még húzza ennyi év után
Persze, de nem lett blockchain alapú Web 3.0. A buktával is csak a mostani nagypofájú cégek fogják megszívni, maga az LLM technológia nem fog eltűnni.

Az lesz majd helyette az általános, mint amit az izraeli hadsereg csinál most a Morpheusszal: nem IT cégeknek fizetnek query-kért, hanem lokálban futó, ellenőrzött tartalmon, célfeladatra betanított saját LLM. (Az, hogy szociális média képeket ellenőriznek vele, ne tévesszen meg: a betanítást nagyon is ellenőrzött, katonai létesítményeket ábrázoló képekkel végezték és semmi mással. Pont ez a lényeg, egy adott célfeladatra van betanítva, ahelyett, hogy a teljes internetet megpróbálnák beletömni.)
pedig nagyon örülnék én is, ha beleállna a földbe.
Nem kell már olyan sokat várni rá szvsz. Pont most olvastam, hogy lázadnak a Microsoft felhasználók a Copilot miatt (is).

A ChatGPT sem fogja tudni már sokáig növelni a felhasználói számát, rohamosan közeleg az a pont, amikor egyszerűen nem lesz már, aki regisztráljon. Egyszerűen azért, mert aki akart, vagy rákényszerítette a cége, az már regisztrált; pont úgy jár majd, mint a Facebook. Ez elkerülhetetlen, a lehetséges új felhasználók száma nem végtelen.

Azt se felejtsük el, hogy ezek a cégek masszívan veszteségesek, előbb-utóbb profitot akarnak majd látni és emiatt drasztikus drágulás várható, amit a most beetetett felhasználók egész biztos nem fognak megfizetni (konklúzió: tömeges felhasználóvesztés, lásd Unity, lásd MS XBox Pass). A felhasználóvesztés meg csak arra fogja ösztökélni őket, hogy tovább emeljék az árakat (mivel mást nem tehetnek), de emiatt csak még többen fogják otthagyni őket... Nincs olyan forgatókönyv, hogy ez az egész ne egy óriási bukta legyen a végén.

Az lesz majd helyette az általános, mint amit az izraeli hadsereg csinál most a Morpheusszal: nem IT cégeknek fizetnek query-kért, hanem lokálban futó, ellenőrzött tartalmon, célfeladatra betanított saját LLM.

Hááát, én is arra fogadnék, hogy lesz sok kicsi, tematikus modell (már most is kísérleteznek erre-arra ilyesmivel), de arra azért nem vennék mérget, hogy a cégek maguknak tanítják, vagy uram bocsá' fejlesztik ezeket.

Pont most olvastam, hogy lázadnak a Microsoft felhasználók a Copilot miatt (is).

Jaja, lázadozik mindenki, hallod, tavasszal iratkoztam fel a legfaszább Copilot-csomag várólistájára a cégnél, most itt tartunk: Registered on position 8914. Annyira senkit nem érdekel, hogy nincs elég belőle. :D

A ChatGPT sem fogja tudni már sokáig növelni a felhasználói számát, rohamosan közeleg az a pont, amikor egyszerűen nem lesz már, aki regisztráljon

Tippelek, de a felhasználók max néhány százaléka fizet most, nem az ingyenélő userek számát kell növelni, hanem a meglévőket kell monetizálni. Thanks for coming to my TED talk. :)

Azt se felejtsük el, hogy ezek a cégek masszívan veszteségesek, előbb-utóbb profitot akarnak majd látni és emiatt drasztikus drágulás várható, amit a most beetetett felhasználók egész biztos nem fognak megfizetni (konklúzió: tömeges felhasználóvesztés, lásd Unity, lásd MS XBox Pass). A felhasználóvesztés meg csak arra fogja ösztökélni őket, hogy tovább emeljék az árakat (mivel mást nem tehetnek), de emiatt csak még többen fogják otthagyni őket... Nincs olyan forgatókönyv, hogy ez az egész ne egy óriási bukta legyen a végén.

Láthatóan nem érted ezt a világot, téves elképzeléseidből kiindulva természetesen téves következtetéseket vonsz le. 

Vegyünk egy nagyon egyszerű példát, 5-6 millió forintból építhetsz otthonra magadnak egy saját AI-t ChatGPT-szerű képességekkel. Ezt a pénzt oszd el 3 évre. Ennél garantáltan nem drágább az AI szolgáltatás még a legrosszabb pozícióban levő szolgáltatónak sem. És itt akkor nem vettük számításba azt, hogy 3 év múlva az az AI számítógép még mindig értékes, igazából csak az értékvesztését és az áramfogyasztását kellene figyelembe venni. Ennél is fontosabb, hogy millió ügyfelet kiszolgálni sokkal hatékonyabb mint egy erős géppel az előtte ülő usert. Azt sem vettük figyelembe, hogy az áramot töredékáron kapják az AI szolgáltatók. Esetleg van saját erőművük. Ha elég erős a házon belüli know-how akkor van saját AI hardverük és nem kell az Nvidia "adót" megfizetniük. A vége ennek nem áremelés, hanem árcsökkenés lesz. Persze lesznek akik elbuknak a versenyben. OpenAI lehet már csak emlék lesz 10 év múlva, de mások biztosan ott lesznek akkor is. 

(Unity-vel nem tudom mit akartál. Valószínűleg ott sem érted mi történt. Akkora öngólt rúgtak, hogy maguk visszakoztak)

Láthatóan nem érted ezt a világot, téves elképzeléseidből kiindulva természetesen téves következtetéseket vonsz le.
Láthatóan nem megy a magyar nyelvű olvasás, és szövegértés hiányában természetesen téves következtetéseket vonsz le.
Vegyünk egy nagyon egyszerű példát, 5-6 millió forintból építhetsz otthonra magadnak egy saját AI-t ChatGPT-szerű képességekkel.
Na és itt álljunk is meg, ugyanis sosem erről volt szó, hanem arról, hogy a nagy cégek "béreled a API-mat modellje" nem gazdaságos.
Nem az kérdés, hogy ki lehet-e gazdálkodni egy 5-6 milliós otthoni szerver árát, hanem az, hogy az OpenAI hogyan tervezi kigazdálkodni az a sok-sok tízmilliárd dollárt, amit a befeketőktől most évente beszed és amiért cserébe nem képes profitot produkálni.
És itt akkor nem vettük számításba azt, hogy 3 év múlva az az AI számítógép
És itt akkor nem vetted számításba azt, hogy 3 év múlva már vissza kellene fizetniük azt a kvantócsillió dollárt, amit most a befektetők beleraktak a (mindezidáig nem létező) profit reményében. Arról is elfeledkeztél, hogy mitől lenne 3 év múlva egyáltalán nyereséges a ChatGPT, hacsak nem drágítják meg drasztikusan az előfizetési díját.
Azt sem vetted számításba, hogy az a brutális szerverpark, amit most kiépítenek, annak nemcsak egyszeri költsége van, hanem bizony 3 év múlva is lesz TCO-ja. Nem is kicsi.
Unity-vel nem tudom mit akartál. Valószínűleg ott sem érted mi történt. Akkora öngólt rúgtak, hogy maguk visszakoztak
Persze, kibukott, hogy te nem érted. A lényeg, hogy hiába visszakoztak, az elpártolt felhasználók döntő többsége sosem megy már vissza, tehát bevételnövekedés helyett bevételcsökkenés lett a kalandjuk vége.

Arról is elfeledkeztél, hogy mitől lenne 3 év múlva egyáltalán nyereséges a ChatGPT, hacsak nem drágítják meg drasztikusan az előfizetési díját.

Ha jól értem az LLM fejlesztési mainstream törekvéseit, akkor mindenki azon dolgozik, hogy a taskonkénti (!= tokenenkénti) ár minél alacsonyabb legyen.

A lényeg, hogy hiába visszakoztak, az elpártolt felhasználók döntő többsége sosem megy már vissza, tehát bevételnövekedés helyett bevételcsökkenés lett a kalandjuk vége.

Ez pont azokra a piaci helyzetekre nem vonatkozik, ahol most tartanak az LLM szolgáltatók. Amíg havonta jön egy SOTA modell, addig körbe-körbe mennek a userek a szolgáltatók között. Most kell végtelen pénzt beletolni a piacszerzésbe, mert ha lelassul a fejlődés, akkor már költségesebb lesz az ügyfélszerzés.

Ha jól értem az LLM fejlesztési mainstream törekvéseit, akkor mindenki azon dolgozik, hogy a taskonkénti (!= tokenenkénti) ár minél alacsonyabb legyen.
Nem jól érted. Mindenki azon dolgozik, hogy minnél nagyobb, minnél több szerverkapacitásra tegye rá a kezét, és hogy ehhez minnél több tőkét vonzzon be.
A Claude például már most durván megemelte a tokenenkénti egységárat, hát nem épp az alacsonyabb ár volt a cél.
Ez pont azokra a piaci helyzetekre nem vonatkozik, ahol most tartanak az LLM szolgáltatók.
Sosem állítottam, sőt, direkt kiemeltem, hogy ez majd akkora vonatkozik, amikor a befektetők türelme elfogy, és majd elkezdik követeleni a profitot. Ez előbb utóbb mindenképp be fog következni, mert sem a türelmük, sem a pénztárcájuk nem végtelen.
Most kell végtelen pénzt beletolni a piacszerzésbe, mert ha lelassul a fejlődés, akkor már költségesebb lesz az ügyfélszerzés.
Na de hogy lesz ebből profit? Nem az ügyfelek miatt tolják bele a pénzt a befektetők, hanem a remélt profit miatt.
Valóban, jópofa lenne, de én tuti nem bíznám a pénzügyi kérdéseket a válaszára, pláne, mivel matekból köztudottan bukásra állnak az LLMek.

A dolog pofon egyszerű szerintem: 12 milliárd dollár bevétele volt idén, ami a 40 milliárd dolláros befektetés negyede csak, és hát eleve, bevétel != profit. Ennyi.

Mindenki azon dolgozik, hogy minnél nagyobb, minnél több szerverkapacitásra tegye rá a kezét, és hogy ehhez minnél több tőkét vonzzon be.

Ez egy párhuzamos problémakör, és nem csak az LLM-cégeket érinti. De amúgy igazad van, ez is nyitott kérdés.

A Claude például már most durván megemelte a tokenenkénti egységárat, hát nem épp az alacsonyabb ár volt a cél.

A havi előfizetéseket hagyjuk, fogalmad sincs, mi van benne, mennyiért, stb. Ilyenek vannak, hogy "20x annyi, mint az ingyenesben". Köszi. 

A tokenek árát millió tokenre vetítve szokták megadni, nem hónapra.

Na de hogy lesz ebből profit?

Szerintem a vállalati felhasználásból. Mint a legtöbb területén az IT-nak.

A Claude például már most durván megemelte a tokenenkénti egységárat,
A havi előfizetéseket hagyjuk
Mégis, hol láttad te ebben a mondatban a "havi" szót??? Konkrétan "tokenenkénti egységárat" írtam.
Szerintem a vállalati felhasználásból.
MIT Finds 95% Of GenAI Pilots Fail. Hajrá!

Mégis, hol láttad te ebben a mondatban a "havi" szót??? Konkrétan "tokenenkénti egységárat" írtam.

Az általad linkelét cikkben, te nagyokos

MIT Finds 95% Of GenAI Pilots Fail. Hajrá!

Mennyivel shortolod épp az nvidiát, google-t, vagy a többi nyilvános AI céget? Mondj egy számot, csak hogy mennyire vagy biztos a véleményedben.

Láthatóan nem megy a magyar nyelvű olvasás, és szövegértés hiányában természetesen téves következtetéseket vonsz le.

Jól prezentálod az ön-reflexív humort. Szövegértésről hadoválsz, majd bizonyítod semmit nem értettél meg abból amit válaszoltam neked:) 

Az echolálás egyébként a szellemi állapotod leromlásának komoly tünete. 

Na és itt álljunk is meg, ugyanis sosem erről volt szó, hanem arról, hogy a nagy cégek "béreled a API-mat modellje" nem gazdaságos.
Nem az kérdés, hogy ki lehet-e gazdálkodni egy 5-6 milliós otthoni szerver árát, hanem az, hogy az OpenAI hogyan tervezi kigazdálkodni az a sok-sok tízmilliárd dollárt, amit a befeketőktől most évente beszed és amiért cserébe nem képes profitot produkálni.

Ez egy felső becslés volt. Értened kellene, de láthatóan nem fogod az adást. Pedig később el is magyaráztam, hogy ez eléggé költséges módja az LLV AI használatának. Egy drága AI gép és hozzá 1 user. Ennél sokkal... de tényleg sokkal hatékonyabban, egy userre esően kevesebb elosztott erőforrásból szolgálnak ki egy usert a nagy LLM AI szolgáltatók. Plusz az olcsó áram, stb. De még ezzel a durván elnagyolt felső becsléssel sem állna elő az általad vizionált AIpocalypsis.

Olyan vagy mint aki a második gyerekkorát éli, elképzelsz egy számodra "helyes" világot, ezt projektálod a valós világra, mivel arra nem illeszkedik a képzelgésed indulatosan tagadod a valós világot. 

Azt se felejtsük el, hogy ezek a cégek masszívan veszteségesek, előbb-utóbb profitot akarnak majd látni és emiatt drasztikus drágulás várható, amit a most beetetett felhasználók egész biztos nem fognak megfizetni (konklúzió: tömeges felhasználóvesztés, lásd Unity, lásd MS XBox Pass). A felhasználóvesztés meg csak arra fogja ösztökélni őket, hogy tovább emeljék az árakat (mivel mást nem tehetnek), de emiatt csak még többen fogják otthagyni őket... Nincs olyan forgatókönyv, hogy ez az egész ne egy óriási bukta legyen a végén.

Persze, kibukott, hogy te nem érted. A lényeg, hogy hiába visszakoztak, az elpártolt felhasználók döntő többsége sosem megy már vissza, tehát bevételnövekedés helyett bevételcsökkenés lett a kalandjuk vége.

Azon túl, hogy nem ez történt a valóságban a Unity-nél, az általad hajlított valóság nem igazolja az eleve téves érvelésedet. 

Végül nem indult el a hallucinált áremelési spirálod, ami miatt elfogytak volna a Unity ügyfelek. Nagy zakó volt, de visszakoztak John Riccitiello repült, eltörölték a visszamenőlegességet, stb. Nem dőlt be a Unity ezért sem jó párhuzam a AIpocalypsis képzelgésedhez. 

Kis trolldetektor

a feltett kérdésre nem próbál meg válaszolni, hanem úgy csinál, mintha nem is lett volna kérdés
helyette a kérdező személyét próbálja (általában személyeskedéssel megspékelve) támadni
Egészen fantasztikus, mennyire képtelenek vagytok tanulni a hibáitokból és újra, és újra, és újra belesétáltok ugyanabba a csapdába.
Nem dőlt be a Unity
Sosem állítottam. Azt állítottam, hogy csökkent a nyeresége. Nem az én bajom, ha a szövegértés meghaladja az értelmi képességeidet.
ezért sem jó párhuzam a AIpocalypsis képzelgésedhez.
Nem képzelgés, és nem is az enyém. Persze ez nem értheted, ha a szövegértés meghaladja az értelmi képességeidet.
Will A.I. Be a Bust? A Wall Street Skeptic Rings the Alarm.
Stocks whipsaw as AI bubble fears
Is Wall Street losing faith in AI?
PRC Elites Voice AI-Skepticism
Csak hogy a hozzád hasonló agymosott idiótáknak is teljesen egyértelmű legyen: a fenti cikkek egyikét sem én írtam. Szörnyű, hogy ezt egyáltalán ki kell hangsúlyozni egy IT portálon, hová süllyedt a szakma?

Kis trolldetektor

Egészen fantasztikus, mennyire képtelenek vagytok tanulni a hibáitokból és újra, és újra, és újra belesétáltok ugyanabba a csapdába.

Amúgy találkoztál már olyan emberrel, aki nem szarta telibe a Kis Trolldetektort, vagy ezek a posztok csak saját szórakoztatásra készülnek?

Amúgy találkoztál már olyan emberrel, aki nem szarta telibe a hozzád hasonló agymosott szerencsétlen TROLLok picsogását? ;-)

Azt hiszed, változni fog a Wall Street vagy a tőzsde alakulása, ha ti itt a HUP-on hülyeségeket beszéltek? LOL.
Azt hiszed, a PEDOFIDESZ nem osztogat majd díjakat meg kegyelmet a pedofiloknak, csak mert ti itt a HUP-on ezt hazudtátok?

És egyébként meg ezredjére, mert úgy látszik egy ilyen egyszerű dolog felfogásával is gondok akadnak: nem is az én trolldetektorom, hanem a Gentleman's Guide to Forum Spies-ból származik,
én csupán csak konstatáltam, hogy működik :-D És te ezt most újfent igazoltad.

Amúgy találkoztál már olyan emberrel, aki nem szarta telibe a hozzád hasonló agymosott szerencsétlen TROLLok picsogását? ;-)

Igen, vannak néhányan, akik jót vergődnek rajta

Azt hiszed, változni fog a Wall Street vagy a tőzsde alakulása, ha ti itt a HUP-on hülyeségeket beszéltek?

Nem, nekem nincsenek ilyen tévképzeteim

Azt hiszed, a PEDOFIDESZ nem osztogat majd díjakat meg kegyelmet a pedofiloknak, csak mert ti itt a HUP-on ezt hazudtátok?

A Pedofidesz az is valami AI cég? Vagy hogy jön ez ide?

én csupán csak konstatáltam, hogy működik :-D És te ezt most újfent igazoltad.

Amúgy találkoztál már olyan emberrel, aki nem szarta telibe a Kis Trolldetektort, vagy ezek a posztok csak saját szórakoztatásra készülnek?

A kriptovalutás hülyeség

A kriptovaluta nem hülyeség.
Úgy értem, a bányászat és a spekulációs része az.
Maga a blockchain, és egy ezen alapuló deviza azonban végre elvezethetne minket egy olyan világba, ahol

  • a kormányok nem tudnák monetáris politika címszó alatt meglopni az embereket,
  • a bankoknak és ügyvédeknek nem lennénk kiszolgáltatva - hiteligénylők közvetlenül a hitelezőktől vehetnének fel hitelt, automatikusan teljesülő szerződések révén, nem lenne szükség ügyvédi letétre, egyáltalán: közvetítőkre.

A magyar peták egzotikus devizának számít, amiben kockázatos megtakarítani. (Váltom is át rögtön rendes devizába a fölét.)

A kriptomicsoda mögött is ott van, hogy árut, más devizát adnak neked érte.
Ha a kereskedés volumenét nézed, e mögött is van bizalom. Nyilván egyelőre más mértékű, ami ki is fejeződik a volatilitásában.
Az árfolyam felhajtó ereje a defláció: korlátozott mennyiségű bitcoin van, miközben meredeken növekszik a tranzakciószám. Mivel új bitcoin-ok kibocsátása nem lehetséges, a meglévő mennyiséget kell apróbb részekre osztani, tehát kisebb egység fog ugyanakkora értéket képviselni, mint korábban a nagyobb egység a kisebb tranzakciószám mellett. Nincs ebben medzsik.

Amíg end-to-end (munkától áruig) nem tudsz tisztán cryptoval - persze centralizált szolgáltatás nélkül - eljutni, addig a "monetáris politika" és a szabályozók jelen lesznek az életedben.

A szabályozás nélküli crypto az nekem kicsit vadnyugati színvonal, btw.

Amúgy a crypto nem "hülyeség" és már nem is teljesen fedezet nélküli, egy csomó banknak és más cégnek áll benne jelentős vagyona. Az arányok persze mások (nem tudom pontosan hogy állnak most...)

Maga a blockchain, és egy ezen alapuló deviza azonban végre elvezethetne minket egy olyan világba
A blockchain technológia arra is tökéletes lenne, hogy ne lehessen csalni a választásokon. Azért az, hogy egy ennyire nyilvánvaló felhasználási módra még csak kísérletet sem tettek az elmúlt 10 évben, önmagában is beszédes.

a Huawei is gyart AI chipeket, sot komplett szervereket is mar egy ideje, sokkal olcsobban, megse omlott ossze az AI piac, de meg az nvidia se. talan pont emiatt versenykepesek a keleti AI cegek,mint a deepseek.

hat a letoltheto (azaz offline, on-prem is hasznalhato) modellek kozott meg mindig messze az a legjobb. par havonta van belole ujabb verzio amugy, csak annak mar nincs hirverese.

a fizetos api-s modellek kozott nem tudom most hogy all, ugye mar gpt 5.x es gemini stb is van azota...

Vagy a nyugati eszkozok bojkottaljak?

hat gondolom a nyugati ai cegek vagy felnek hasznalni a kinai modelt, vagy hasznaljak de felnek ezt beismerni :)

Ha igaz amit a Deepseek kommunikál, éppen azért késik az R2 mert nem elég jó a Huawei Ascend ezért vissza is tértek Nvidia-ra. Szóval fejlesztésre még nem optimális és a CUDA mindig jóval a CANN előtt jár. De az biztos, hogy idővel teljes-értékű alternatíva lesz az Ascend is. Már betanított AI üzemeltetésére gondolom most is jó, mert van erre egy programja a kínai kormányzatnak. Nagyon olcsón kapnak áramot egy évig azok akik belső-Mongóliába építenek új szerverfarmokat, pont ott ahol a tóriumos atomerőművek vannak. Ezzel kompenzálják nagyobb áramfogyasztásból adódó hátrányt, East Data West Computing nevű projektjük keretében. Embargó ide vagy oda, ma is nagyon sok kínai eladó kínál az Ebay-en H100 kártyákat, még SMX5-ről PCIe-re átkonvertált kártyák is vannak. Nem úgy tűnik mintha hiány lenne belőle arrafelé. Már ami új modellek fejlesztését illeti. A futtatáshoz, szolgáltatás működtetéséhez persze rengeteg kell, de fejlesztéshez elég ami a kínai szürke piacon ma is elérhető. 

Abban persze maximálisan egyetértek, hogy bzt által vízionált AIpocalypsis meg Nvidia leolvadás nem várható a belátható jövőben. 

Hát gheci ránéztem a gyertyákra. Milyen mélyrepülés, LOL.

Valami van. Mintha kezdenék elérni a határaikat.

Pintér Zsolt videóit szoktam nézni. Ott látszik, hogy bár látszólag a teszt benchmark-okon egyre jobbnak tűnnek. Egy Zsolt által összeállított tesztsoron rosszabbul teljesített pl. a Genini 3 a Gemini 2.5-nél. Pl. GLM 4.6 a GLM 4.5-nél. Tehát úgy tűnik, hogy a benchekre kihegyezett modellek valójában rosszabbul teljesítenek a való világ feladatain.

 

Lehet, hogy be fog dőlni a hype. Viszont ez a technológia velünk maradhat. Hacsak nem rántja magával az egész gazdaságot.

Várj, nem tudom követni a gondolatmenetedet.

Attól, hogy az Nvidia részvényei esnek, hogyan következik akár az, hogy az Nvidia cég bukik? (Mit jelent az, hogy bukik? Becsődöl és bezárja a gyárat?)

Illetve ha az Nvidia nem piacvezető de továbbra is gyárt, akkor ez mi módon bukik az LLM-re felhúzott ökoszisztéma? Ha van hardver (akár más gyártótól, akár Nvidiától), akkor lehet új kapacitásokat építeni, és ha egy cég össze tud tenni egy olyan ajánlatot, amit mások vonzónak találnak, akkor el tudja azt adni.

disclaimer: ha valamit beidéztem és alá írtam valamit, akkor a válaszom a beidézett szövegre vonatkozik és nem mindenféle más, random dolgokra.