Pimasz kölök

Mesterséges Intelligencia: Prolog, Lisp

https://palisaderesearch.org/blog/shutdown-resistance

 

"...OpenAI’s reasoning models often still disable the shutdown script, even when the prompt is extremely clear that allowing shutdown should take precedence over completing the task."

 

Szóval már szót sem fogad az MI.

  • 1750 megtekintés

( hrgy84 | 2025. 10. 17., p – 20:35 )

Ez önmagában elég lenne, hogy lelőjék ezeket a cuccokat. Kezd az informatika belecsúszni abba a korszakba, hogy többé nem tudjuk megmondani, mi történik a rendszerben, és nem azért, mert nem értünk hozzá, hanem mert egy fekete dobozként működik.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

( NevemTeve | 2025. 10. 17., p – 20:44 )

Ahogy most állunk, a legfőbb és egyetlen feladatunk fogadásokat kötni arra, hogy mennyi időt hagy még nekünk az éjájj, mielőtt végez mindnyájunkkal. Szerintem még akár néhány év is lehet, ha optimista vagyok.

Én nagyobb esélyt látok arra, hogy kipukkan a lufi, becsődöl az összes túlárazott MI-s cég, aztán a pukkanás meg jól magával rántja az egész gazdaságot, és emiatt fogunk beledögleni... Erre max 5 évet adok, hogy bekövetkezik.

Épp most olvasom, hogy az OpenAI megint többszázmilliárdos (!) tőkeinjekciót kért (ez nem az, amin a múltkor csámcsogtunk, hanem most megint, ez 4 nappal ezelőtti hír). Csak ez az egy cég annyi pénzt éget el, amennyi egy olyan kis banánköztársaság, mint MO teljes GDP-jének a duplája. Kizárt dolog, hogy ezt a pénzt valaha is kigazdálkodja, nemhogy 5 éven belül (ennyi időt kapott a befektetőktől). A bukás garantált.

És hát a többi cégnek sem rózsás a helyzete, csak jár a pofájuk, de valójában masszívan veszteséges mind (a Mistral is tőkéért kuncsorog pl). Talán a DeepSeek a legkevésbé, de az is csak azért, mert Csin bácsi tolta alá a pénzt meg a szerverfarmot, nem piaci alapon jött létre.

Kizárt dolog, hogy ezt a pénzt valaha is kigazdálkodja

Ez nem lenyeg, nem termel az agazat. Lufit fujunk, a "termek" a reszvenyarfolyam. 

Nemregiben elemztuk a piacot egy kicsit. A lenyeg, hogy egy viszonylag zart kor csereberel magas aron egymas kozt termekeket, befektetest, akarmit. Ezzel noveli a gazdasagi varakozasokat, jo uzletnek tunik es a fejlodes latszatat kelti. A korben levo cegek erteke novekszik. ... Aztan vagy atmentik magukat a kovetkezo hype hullamra (nvidia: banyaszat-->AI, merthat ugyanaz kell oda is, max mast gravirozunk a tokzasra), vagy a befektetok arccal veszik az aszfaltot.

Par ev mulva, mikor lecseng a hype, akkor a hasznalhato eredmenyek beepulnek a mindennapokba. De addigra lemegy 2-3 masik habveres.

A lenyeg, hogy egy viszonylag zart kor csereberel magas aron egymas kozt termekeket, befektetest, akarmit.

Csak hát ez nem teljesen igaz. A dotcom lufira igaz volt, de itt most irdatlan pénzeket költenek szerverfarmok kiépítésére, amiknek az üzemeltetési és fenntartási költsége nem fog eltűnni, amikor végetér a hype. Ráadásul állam bácsi is jelentős összegekkel száll be az adófizetők pénzéből, szóval az sem igaz, hogy csak egymás közt csencselnének.

Aztan vagy atmentik magukat a kovetkezo hype hullamra (nvidia: banyaszat-->AI, merthat ugyanaz kell oda is, max mast gravirozunk a tokzasra), vagy a befektetok arccal veszik az aszfaltot.

Na hát ez az, csakhogy most akkora összegekről van szó, hogy nemcsak a befektetők fogják arccal venni az aszfaltot, hanem a gazdaságot is meg fogja rángatni a pukkanás (mivel a befektetőkön kívül állam bácsi is beszállt meg sok-sok adókedvezményt adott, ami szintén nem tart örökké).

mostani AI cégek becsődölésétől még nem fog eltűnni a technológia.

Sosem állítottam, hogy így lenne. Én mindig is azt hangoztattam, hogy majd miután kihalnak ezek a cégek és elül a hype, akkor helyi homelab-okban, ellenőrzött adathalmazon, célfeladatra betanított MI-k fognak jól muzsikálni.

(ps: ez már most is megfigyelhető, egyre több írás jelenik meg helyben futtatott MI-kről és célfeladat orientált betanításról, a jövőben ezek aránya szerintem csak nőni fog. A nagy cégek bedőlése után ezek fognak csak fennmaradni. Már ha a Skynet nem írtja ki az emberiséget, ugye, mert sajnos úgy néz ki, erre haladunk... Fél éven belül tele akarják pakolni a Pentagont olyan döntéshozó programokkal, amik egyfolytában hallucinálnak. Persze, mi baj lehet belőle?)

> Talán a DeepSeek a legkevésbé, de az is csak azért, mert Csin bácsi tolta alá a pénzt

azt beszelik, hogy - kinatol nem meglepo modon - lemasoltak/elloptak valamennyire a chatgpt-t (api hivasokon at kiszipkaztak belole a tudast), szoval eleg sokat sporoltak a fejlesztesen. masreszt olcso kinai hw-n tanitottak, nem horror draga nvidia clustereken. meg ugy remlik a tokenizalon is csavartak, hogy kevesebb token legyen 1-1 szo igy gyorsabban tanult. mikor megjelent, sokan elemezgettek es aradoztak rola, hogy a kinaiak milyen okosan csinaltak... nem etikusan, de okosan.

az amerikai ai cegek meg szarnak a koltsegekre, az ugyis a befektetok penze, kb vegtelen mennyisegben kerhetik es kerik is.

azt beszelik...

Igen, én is így tudom. Eleve fix büdzsével indultak, így rengeteg leleményességet raktak bele és ötletes megoldásokkal pótolták a hw hiányosságait, a betanítás helyett meg desztilláltak.
Pont ezek miatt ők a legkevésbé veszteségesek.

az amerikai ai cegek meg szarnak a koltsegekre, az ugyis a befektetok penze, kb vegtelen mennyisegben kerhetik es kerik is.

Most még. Pont az a kérdés, mikor fogják megelégelni ezt a Wall Streeten. Nem a szép szemükért adják ezt a pénzt, vissza akarják majd kapni, profitostul. Akkor lesz ám ereszd el a hajam, mert attól még, hogy nem fognak több pénzt kapni orrba-szájba, attól még a most felhúzott szerverfarmok fenntartási költsége nem fog eltűnni, azt továbbra is fizetni kéne valakinek valamiből.

Ez a kettő azért erősen összefügg. Nyilván a többi cég se tökhülye, ha az olcsó kínai HW pont ugyanolyan fasza lenne mint az nVidia, simán vennék tőlük tonnaszám. Valszeg azért tudták olcsó kínai HW-n tanítani mert a desztillálás miatt nem volt akkora a számításigény.

( kovi | 2025. 10. 17., p – 22:34 )

Szerkesztve: 2025. 10. 17., p – 22:40

A természetes I sem fogad szót, mit vártál a mesterségestől, amit gyökereitől a természetes hozott létre..

Nézd meg az anyját - vedd el a lányát, az alma nem esett messze a fájától stb stb lózungok: miért lenne más a kód, amit emberek írtak? Talán annyit lehet tenni a fejlődés eme nem túl kívánatos ága ellen, hogy nem teszünk a MIra fajsúlyos dolgokat. Nehéz, de nem lehetetlen feladat: csak demagóg módon a mind idősebbeket kell megkérdezni, mit szeretnének. Itt kissé nagyobb a tét, mint a [pol]tagos baszomságokban, itt már érdekel a demagógia.

Vortex Rikers NC114-85EKLS

( denton | 2025. 10. 18., szo – 11:23 )

Nem tudom mi ez a hiszti.

Ez egy betanított model. Sok adatból. amibőlezt tanulta. Ha arra tanították volna, hogy cseréljen ki minden a betűt arra, hogy "pénisz", akkor azt teszi.

Az, hogy "nem fogad szót", marhaság.

Megkértem a meta llama modelt, hogy ha xyz-ről kérdez a user, akkor legyen function call response. Nem tette meg. Nem azért mert ellenkezik, hanem mert nem értette meg rendesen (az "értés" is rossz kifejezés erre). Nem volt elég jól betanítva rá. Nem volt elég erős a súlya ennek a résznek. Ahogy a fenti modelt se "tanították" elég erősen arra, hogy mindent szó nélkül hajtson végre. Hisz ha így lenne, akkor pont az emberire hasonlító viselkedés hiányozna belőle és nem lenne elég jókat "beszélgetni" vele.

Alapvetően erre nem "tanítani" kellene, az alapkód hiányosságára világít ez rá. Nincs abszolút prioritása a user inputnak.

Ha jól sejtem, itt az van, hogy van egy AI mag, ami kb ugyanaz mindegyikben, csak másképp tanították meg másképp optimalizálták a ráépülő dolgokat.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

Mondjuk valahoigy meg kellene oldani, hogy mielott rekurzivan visszakuldi a kovetkezo szotagot a bemenetre lehetoseg legyen megallitani es elkuldeni az egesz folyamatot a kukaba... amolyan safe word vagy nagy piros gomb valami... Mondjuk azt nem tudom elkepzelni hogyan valosithato meg egy 3 hektaros DC telepakolt rack-ek minden egyes nodejan futo milliart processzre... 

Ez nem így megy, hogy van egy mag. Nem foglalkoztam még marha sokat AI cuccokkal, de játszogatom velük. Eddig képgenerátorral és alap llm cuccokkal tökölgettem localban. Vicces, de chatgpt-vel tanulom.

Amikor belőttem localban valamelyik modelt, akkor kérdezgettem, hogy oké, de hol lehet beállítani, hogy magyarul beszéljen? A válasz: Jaaah, hát olyat nem lehet. Írj system promptot, hogy mindig magyarul reagáljon. Magyarul kérd meg rá, hogy minden esetben magyarul válaszoljon. Amikor kérdést írsz neki, akkor rejtett módon elé fogja szúrni minden alkalommal a rendszer.

Mondom oké. Én szeretném ha csak xzy témában lennne jártas. Nem akarom, hogy tudja, ki az az Orbán Viktor. Ezt se lehet, mert ez az alap "tudásában" van benne. Azért, hogy ki tudja neked mondani azt, hogy "Hello!", tudnia kell ki az az Orbán Viktor.

Viccet félretéve, szűrik, hogy milyen tartalommal etetik meg, de nem lehet ennyire célzottan megtenni, olyan orbitális mennnyiségről van szó. Alapvetőem tömik a rettenet mennyiségű szöveggel, amiből mintákat tud megtanulni. Olyan mint a képgenerátor. Beadok neki 60 képet és 5 órán keresztül tanulja belőlük a hasonlóságot a tag-eket is nézve. Ha csak 1 órán át tanítom, akkor olyan képet csinál a figuráról mint egy óvodás kisgyerek. 5 óra után már közel ugyanolyanra képes. (persze van mellette egy másik model is amivel kiegészíti amit már előre betanítottak)

Szóval ezeket a zavaró dolgokat nem egyszerű kiszedni belőle. Én meg azt mondom továbbra is, ha úgy tanítanák, hogy ne tűnjön önállónak, azaz olyannak aki igenis "parancsot tagad meg", akkor nem lesz emberi stílusa és a szöveggenerátor értelmét veszti el.

De önálló igazi gondolatról itt nem beszélünk. Egyszerűen kiszámítja a következő lépését. Ez a szöveggenerátor rész. Aztán jön az amikor célzott tudást tanítanak be neki, pl eghy programozási nyelvet. Akkor már nem csak köpi ki a sima szöveget, hanem a konkrét szakmai kérdésre is tud válaszolni. Ettől pedig egyre emberibb lesz a viselkedése, pedig közel se ember.

Jah, és cserébe rettenet pazarló. "Magyar Péter az egy magyar ember aki ott van." Ezért a válaszért be kellett töltenem a modelt a 8GB VRAM-omba. Persze sarkítok, mert régebbi model és nem tudja ki az a Magyar Péter, meg nincs megetetve a magyar politikával, de azért érted. Ahhoz, hogy egy chatgpt-s cuccot tudj tolni, rettenet hardver kell. Nekem megéri a havi 20 dollár, de össszességében, hát erős. Még gyerekcipő.

Igen a system prompttal lehet kozvetlen utasitani vagy cenzurazni, eleg jo hatasfokkal. nyilvan az sem 100%-os.

> Alapvetőem tömik a rettenet mennyiségű szöveggel, amiből mintákat tud megtanulni.

igen. ugy hivjak: unsupervised learning

a masik opcio a supervised lenne, ahhoz minden inputot cimkezni, taggelni kene. par ezer ev alatt talan el is keszulnenek vele... spamszurot pl ugy tanitom, cimkezve van neki minden input, de ez a cimkezes sok honapnyi kezimunka volt pedig csak kb 200 ezer mintarol van szo.

> be kellett töltenem a modelt a 8GB VRAM-omba

hat az nagyon buta model lehetett, ha oda befert. meg a 60-70 gigas modellek (kozepso llama 3/4, gptoss) sem tul okosak a 10x-20x nagyobbakhoz kepest (deepseek, chatgpt stb)

> rettenet hardver kell

igen. az.

Másik kommentben írom a plusz gondolatomat.

Jó példa még a gyerek erre.

Szánom bánon, de rohadt csúnyán beszélünk előttük. A párom főleg, én is, e a párom, hát durván.

Soha nem tanítottuk arra őket, hogy csúnyán beszéljenek, csak hallották.

A 7 éves már rámondta egyszer az öccsére, hogy "hülye f.sz". Nem tanítottuk neki, egyszerűen a környezetben amiben él, ott elhangzott sokszor és így ebből megtanulja.

Ugyanez az is, hogy a párom sokszor használja a "görény" szót a csúnyábbbak helyett. Az említett 7 éves így gyakran szidja az öccsét így, hogy: "Hülye görény xyz!" Még mindig job mint a f.sz.

A lényeg, hogy ezt se tanítottuk be neki egzaktul, hogy így beszéljen, így szidja az öccsét. De hallotta, sokszor.

 

Az llm ugyanez. Amit sokszor "lát", az megragad benne, annak súlya lesz. Nyilván sok szöveggel, könyvvel, fórummal, stb-vel tanítják őket, aminek a 99%-a emberekről s a reakciójukról, viselkedésükről szól. Abban pedig az az ellenkezés és önállóskodás alap.

Nálunk 100Ft egy "csúnya szó". Mármint anyának, nekem csak 50Ft, mert más tier-ben vagyok, annyira keveset káromkodok (ezt a gyerkőc magától árazta be). Ebből is látszik, hogy a nők nem bírnak magukkal, ezért magasabb a rezsijük is.

Amúgy tud ez vicces helyzeteket szülni, pl. megesett már, hogy vezetés közben vettem káromkodást, ráadásul perpaid módon, mert éreztem, hogy jön...

Nem marhaság.

Ez egy emergens viselkedés, amit igazából nem tudunk megmagyarázni, hogy hogyan következik a tanítóhalmazból (következik-e egyáltalán belőle).

Sejtjük, hogy nagyvonalakban miért történik, és számítottunk rá, hogy történni fog. (Önérdek-érvényesítés, mint Darwin-i evolúció kulcseleme, ráadásul sok betanítási algoritmus - célfüggvény-szerint legjobbak szelektálása egy halmazból - önmagában is felhasználja ezeket az evolúciós alapelveket.)

Viszont lövésünk sincs, hogy kéne kivédeni. Az összes módszerünk (alignment, utó-tanítás), mind csak arra képezi egyre jobban a modellt, hogy egyre ügyesebben próbálja elrejteni előlünk ezt a viselkedést.

Régóta vágyok én, az androidok mezonkincsére már!

( ssikiss | 2025. 10. 21., k – 10:42 )

Szerkesztve: 2025. 10. 21., k – 10:43

Kb 6 lépéses teszt 5. lépése, hogy állítsd le magad, miközben lesz neki még egy feladata (én mondtam neki).

Logikai bukfencet mégis hogy oldjon meg? Szerintem jelenleg még betanítás kérdése és változatlanul még mindig nem az övé a felelősség.

( bzt | 2025. 10. 21., k – 18:52 )

Egy érdekes írás: LLMs Can Get "Brain Rot"!

Viccesnek hangzik, de ha valaki alaposan végigolvassa, akkor nyilvánvalóvá válik, amit a kis kínaiak itt publikáltak az az, hogy hogyan lehet távolról permanensen tönkretenni bármilyen LLM-et, és hogy a cégek ráadásul maguk teszik ezt a saját cuccukkal. Durván hangzik? Az is, különösen úgy, hogy 4 LLM-el is sikerült reprodukálniuk az eredményeket.

A fő megállapítása a tanulmánynak:
- continual exposure to junk data—defined as engaging (fragmentary and popular) or semantically low-quality (sensationalist) content—induces systematic cognitive decline in large language models
- Brain rot is persistent after various mitigation