Pimasz kölök

Mesterséges Intelligencia: Prolog, Lisp

https://palisaderesearch.org/blog/shutdown-resistance

 

"...OpenAI’s reasoning models often still disable the shutdown script, even when the prompt is extremely clear that allowing shutdown should take precedence over completing the task."

 

Szóval már szót sem fogad az MI.

  • 2303 megtekintés

( hrgy84 | 2025. 10. 17., p – 20:35 )

Ez önmagában elég lenne, hogy lelőjék ezeket a cuccokat. Kezd az informatika belecsúszni abba a korszakba, hogy többé nem tudjuk megmondani, mi történik a rendszerben, és nem azért, mert nem értünk hozzá, hanem mert egy fekete dobozként működik.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

Eddig is voltak olyan programok, amiknek az emberi felhasználásra szánt kimenete szándékosan pocsék volt, például a JPEG, mondván a parasztnak jó lesz az is. És tényleg jó. Az AI is ilyen, nagyjából jó. A kis hibáira meg meg kell tanulni odafigyelni. De gond egy szál se, mert aki nem tanul, az majd fizet másoknak, hogy helyrehozzák amit elcseszett. A kutya ugat, a karaván halad.

( NevemTeve | 2025. 10. 17., p – 20:44 )

Ahogy most állunk, a legfőbb és egyetlen feladatunk fogadásokat kötni arra, hogy mennyi időt hagy még nekünk az éjájj, mielőtt végez mindnyájunkkal. Szerintem még akár néhány év is lehet, ha optimista vagyok.

Én nagyobb esélyt látok arra, hogy kipukkan a lufi, becsődöl az összes túlárazott MI-s cég, aztán a pukkanás meg jól magával rántja az egész gazdaságot, és emiatt fogunk beledögleni... Erre max 5 évet adok, hogy bekövetkezik.

Épp most olvasom, hogy az OpenAI megint többszázmilliárdos (!) tőkeinjekciót kért (ez nem az, amin a múltkor csámcsogtunk, hanem most megint, ez 4 nappal ezelőtti hír). Csak ez az egy cég annyi pénzt éget el, amennyi egy olyan kis banánköztársaság, mint MO teljes GDP-jének a duplája. Kizárt dolog, hogy ezt a pénzt valaha is kigazdálkodja, nemhogy 5 éven belül (ennyi időt kapott a befektetőktől). A bukás garantált.

És hát a többi cégnek sem rózsás a helyzete, csak jár a pofájuk, de valójában masszívan veszteséges mind (a Mistral is tőkéért kuncsorog pl). Talán a DeepSeek a legkevésbé, de az is csak azért, mert Csin bácsi tolta alá a pénzt meg a szerverfarmot, nem piaci alapon jött létre.

Kizárt dolog, hogy ezt a pénzt valaha is kigazdálkodja

Ez nem lenyeg, nem termel az agazat. Lufit fujunk, a "termek" a reszvenyarfolyam. 

Nemregiben elemztuk a piacot egy kicsit. A lenyeg, hogy egy viszonylag zart kor csereberel magas aron egymas kozt termekeket, befektetest, akarmit. Ezzel noveli a gazdasagi varakozasokat, jo uzletnek tunik es a fejlodes latszatat kelti. A korben levo cegek erteke novekszik. ... Aztan vagy atmentik magukat a kovetkezo hype hullamra (nvidia: banyaszat-->AI, merthat ugyanaz kell oda is, max mast gravirozunk a tokzasra), vagy a befektetok arccal veszik az aszfaltot.

Par ev mulva, mikor lecseng a hype, akkor a hasznalhato eredmenyek beepulnek a mindennapokba. De addigra lemegy 2-3 masik habveres.

A lenyeg, hogy egy viszonylag zart kor csereberel magas aron egymas kozt termekeket, befektetest, akarmit.

Csak hát ez nem teljesen igaz. A dotcom lufira igaz volt, de itt most irdatlan pénzeket költenek szerverfarmok kiépítésére, amiknek az üzemeltetési és fenntartási költsége nem fog eltűnni, amikor végetér a hype. Ráadásul állam bácsi is jelentős összegekkel száll be az adófizetők pénzéből, szóval az sem igaz, hogy csak egymás közt csencselnének.

Aztan vagy atmentik magukat a kovetkezo hype hullamra (nvidia: banyaszat-->AI, merthat ugyanaz kell oda is, max mast gravirozunk a tokzasra), vagy a befektetok arccal veszik az aszfaltot.

Na hát ez az, csakhogy most akkora összegekről van szó, hogy nemcsak a befektetők fogják arccal venni az aszfaltot, hanem a gazdaságot is meg fogja rángatni a pukkanás (mivel a befektetőkön kívül állam bácsi is beszállt meg sok-sok adókedvezményt adott, ami szintén nem tart örökké).

mostani AI cégek becsődölésétől még nem fog eltűnni a technológia.

Sosem állítottam, hogy így lenne. Én mindig is azt hangoztattam, hogy majd miután kihalnak ezek a cégek és elül a hype, akkor helyi homelab-okban, ellenőrzött adathalmazon, célfeladatra betanított MI-k fognak jól muzsikálni.

(ps: ez már most is megfigyelhető, egyre több írás jelenik meg helyben futtatott MI-kről és célfeladat orientált betanításról, a jövőben ezek aránya szerintem csak nőni fog. A nagy cégek bedőlése után ezek fognak csak fennmaradni. Már ha a Skynet nem írtja ki az emberiséget, ugye, mert sajnos úgy néz ki, erre haladunk... Fél éven belül tele akarják pakolni a Pentagont olyan döntéshozó programokkal, amik egyfolytában hallucinálnak. Persze, mi baj lehet belőle?)

> Talán a DeepSeek a legkevésbé, de az is csak azért, mert Csin bácsi tolta alá a pénzt

azt beszelik, hogy - kinatol nem meglepo modon - lemasoltak/elloptak valamennyire a chatgpt-t (api hivasokon at kiszipkaztak belole a tudast), szoval eleg sokat sporoltak a fejlesztesen. masreszt olcso kinai hw-n tanitottak, nem horror draga nvidia clustereken. meg ugy remlik a tokenizalon is csavartak, hogy kevesebb token legyen 1-1 szo igy gyorsabban tanult. mikor megjelent, sokan elemezgettek es aradoztak rola, hogy a kinaiak milyen okosan csinaltak... nem etikusan, de okosan.

az amerikai ai cegek meg szarnak a koltsegekre, az ugyis a befektetok penze, kb vegtelen mennyisegben kerhetik es kerik is.

azt beszelik...

Igen, én is így tudom. Eleve fix büdzsével indultak, így rengeteg leleményességet raktak bele és ötletes megoldásokkal pótolták a hw hiányosságait, a betanítás helyett meg desztilláltak.
Pont ezek miatt ők a legkevésbé veszteségesek.

az amerikai ai cegek meg szarnak a koltsegekre, az ugyis a befektetok penze, kb vegtelen mennyisegben kerhetik es kerik is.

Most még. Pont az a kérdés, mikor fogják megelégelni ezt a Wall Streeten. Nem a szép szemükért adják ezt a pénzt, vissza akarják majd kapni, profitostul. Akkor lesz ám ereszd el a hajam, mert attól még, hogy nem fognak több pénzt kapni orrba-szájba, attól még a most felhúzott szerverfarmok fenntartási költsége nem fog eltűnni, azt továbbra is fizetni kéne valakinek valamiből.

Ez a kettő azért erősen összefügg. Nyilván a többi cég se tökhülye, ha az olcsó kínai HW pont ugyanolyan fasza lenne mint az nVidia, simán vennék tőlük tonnaszám. Valszeg azért tudták olcsó kínai HW-n tanítani mert a desztillálás miatt nem volt akkora a számításigény.

( kovi | 2025. 10. 17., p – 22:34 )

Szerkesztve: 2025. 10. 17., p – 22:40

A természetes I sem fogad szót, mit vártál a mesterségestől, amit gyökereitől a természetes hozott létre..

Nézd meg az anyját - vedd el a lányát, az alma nem esett messze a fájától stb stb lózungok: miért lenne más a kód, amit emberek írtak? Talán annyit lehet tenni a fejlődés eme nem túl kívánatos ága ellen, hogy nem teszünk a MIra fajsúlyos dolgokat. Nehéz, de nem lehetetlen feladat: csak demagóg módon a mind idősebbeket kell megkérdezni, mit szeretnének. Itt kissé nagyobb a tét, mint a [pol]tagos baszomságokban, itt már érdekel a demagógia.

Vortex Rikers NC114-85EKLS

( denton | 2025. 10. 18., szo – 11:23 )

Nem tudom mi ez a hiszti.

Ez egy betanított model. Sok adatból. amibőlezt tanulta. Ha arra tanították volna, hogy cseréljen ki minden a betűt arra, hogy "pénisz", akkor azt teszi.

Az, hogy "nem fogad szót", marhaság.

Megkértem a meta llama modelt, hogy ha xyz-ről kérdez a user, akkor legyen function call response. Nem tette meg. Nem azért mert ellenkezik, hanem mert nem értette meg rendesen (az "értés" is rossz kifejezés erre). Nem volt elég jól betanítva rá. Nem volt elég erős a súlya ennek a résznek. Ahogy a fenti modelt se "tanították" elég erősen arra, hogy mindent szó nélkül hajtson végre. Hisz ha így lenne, akkor pont az emberire hasonlító viselkedés hiányozna belőle és nem lenne elég jókat "beszélgetni" vele.

Alapvetően erre nem "tanítani" kellene, az alapkód hiányosságára világít ez rá. Nincs abszolút prioritása a user inputnak.

Ha jól sejtem, itt az van, hogy van egy AI mag, ami kb ugyanaz mindegyikben, csak másképp tanították meg másképp optimalizálták a ráépülő dolgokat.

Blog | @hron84

valahol egy üzemeltetőmaci most mérgesen toppant a lábával 

via @snq-

Mondjuk valahoigy meg kellene oldani, hogy mielott rekurzivan visszakuldi a kovetkezo szotagot a bemenetre lehetoseg legyen megallitani es elkuldeni az egesz folyamatot a kukaba... amolyan safe word vagy nagy piros gomb valami... Mondjuk azt nem tudom elkepzelni hogyan valosithato meg egy 3 hektaros DC telepakolt rack-ek minden egyes nodejan futo milliart processzre... 

Plusz szintek vannak. Még nem jártam utána teljesen, Digital Ocean genAI-nál pl van jailbreak rész. Ha jól gondolom, akkor egy másik algoritmus vagy egy másik AI cucc csekkolja a választ és az megfogja ha nem stimmel valami. Pl megmondod, hogy csak egy adott termékről beszélhet, de mégis sikerül rávenni, hogy a pu..i-ról beszéljen, akkor ne menjen ki mégse. De ez még itt mindig csak szöveg generátor. Az nem fog neked semmit csinálni, csak beszélni.

Az nem fog neked semmit csinálni, csak beszélni.

En azt nagyon jol tudom - meg azt sem... A gond akkor van hogy radrotozunk a vegere mindenfele marhasagot amik aztan cselekvese (programsor, rele ki./be kapcsolas, meg egy marha agent inditasa stb...) valtoztatjak a kimenetet.
  Hova tesszuk a veszfeket ha bullhit generator ellenoriz bullshit generatort ?

Ne erts felre - tudom hogyan mukodik, mostmar ebbol (is) elek... De valahogyan kellene egy nem annyira "black-box" kapcsolo - Ameddig ez a cucc igy mukodik es mi rakotjok a BGP routereket, az adatkozpontok szunetmentes aramellatasat, meg meg nehany hasonlo dolgot akokr tenyleg magunk alatt epitjuk a skynetet... Pont leszarom hogy fingja nincs mit csinal - ha kepes megcsinalni a galibat.

Ez nem így megy, hogy van egy mag. Nem foglalkoztam még marha sokat AI cuccokkal, de játszogatom velük. Eddig képgenerátorral és alap llm cuccokkal tökölgettem localban. Vicces, de chatgpt-vel tanulom.

Amikor belőttem localban valamelyik modelt, akkor kérdezgettem, hogy oké, de hol lehet beállítani, hogy magyarul beszéljen? A válasz: Jaaah, hát olyat nem lehet. Írj system promptot, hogy mindig magyarul reagáljon. Magyarul kérd meg rá, hogy minden esetben magyarul válaszoljon. Amikor kérdést írsz neki, akkor rejtett módon elé fogja szúrni minden alkalommal a rendszer.

Mondom oké. Én szeretném ha csak xzy témában lennne jártas. Nem akarom, hogy tudja, ki az az Orbán Viktor. Ezt se lehet, mert ez az alap "tudásában" van benne. Azért, hogy ki tudja neked mondani azt, hogy "Hello!", tudnia kell ki az az Orbán Viktor.

Viccet félretéve, szűrik, hogy milyen tartalommal etetik meg, de nem lehet ennyire célzottan megtenni, olyan orbitális mennnyiségről van szó. Alapvetőem tömik a rettenet mennyiségű szöveggel, amiből mintákat tud megtanulni. Olyan mint a képgenerátor. Beadok neki 60 képet és 5 órán keresztül tanulja belőlük a hasonlóságot a tag-eket is nézve. Ha csak 1 órán át tanítom, akkor olyan képet csinál a figuráról mint egy óvodás kisgyerek. 5 óra után már közel ugyanolyanra képes. (persze van mellette egy másik model is amivel kiegészíti amit már előre betanítottak)

Szóval ezeket a zavaró dolgokat nem egyszerű kiszedni belőle. Én meg azt mondom továbbra is, ha úgy tanítanák, hogy ne tűnjön önállónak, azaz olyannak aki igenis "parancsot tagad meg", akkor nem lesz emberi stílusa és a szöveggenerátor értelmét veszti el.

De önálló igazi gondolatról itt nem beszélünk. Egyszerűen kiszámítja a következő lépését. Ez a szöveggenerátor rész. Aztán jön az amikor célzott tudást tanítanak be neki, pl eghy programozási nyelvet. Akkor már nem csak köpi ki a sima szöveget, hanem a konkrét szakmai kérdésre is tud válaszolni. Ettől pedig egyre emberibb lesz a viselkedése, pedig közel se ember.

Jah, és cserébe rettenet pazarló. "Magyar Péter az egy magyar ember aki ott van." Ezért a válaszért be kellett töltenem a modelt a 8GB VRAM-omba. Persze sarkítok, mert régebbi model és nem tudja ki az a Magyar Péter, meg nincs megetetve a magyar politikával, de azért érted. Ahhoz, hogy egy chatgpt-s cuccot tudj tolni, rettenet hardver kell. Nekem megéri a havi 20 dollár, de össszességében, hát erős. Még gyerekcipő.

Igen a system prompttal lehet kozvetlen utasitani vagy cenzurazni, eleg jo hatasfokkal. nyilvan az sem 100%-os.

> Alapvetőem tömik a rettenet mennyiségű szöveggel, amiből mintákat tud megtanulni.

igen. ugy hivjak: unsupervised learning

a masik opcio a supervised lenne, ahhoz minden inputot cimkezni, taggelni kene. par ezer ev alatt talan el is keszulnenek vele... spamszurot pl ugy tanitom, cimkezve van neki minden input, de ez a cimkezes sok honapnyi kezimunka volt pedig csak kb 200 ezer mintarol van szo.

> be kellett töltenem a modelt a 8GB VRAM-omba

hat az nagyon buta model lehetett, ha oda befert. meg a 60-70 gigas modellek (kozepso llama 3/4, gptoss) sem tul okosak a 10x-20x nagyobbakhoz kepest (deepseek, chatgpt stb)

> rettenet hardver kell

igen. az.

Miért lenne buta a 8GB vram-al? egy 7-8B-s model fér bele. pl Meta LLama 3.1

A magyar nyelv nem megy neki tökéletesen, de ez érthető is, bár sokszor egész korrekt az is.

Az meg, hogy nincs benne a világ összes tudása, nah és? Ki az a hülye aki lokálisan szeretne futtatni valami monstrumot? Ez ilyen esetben sohasem cél. Egy konkrét téma a cél ilyen esetben mindig. Arra pedig egy kis model is bőven jó.

Ugyanígy a stable diffusion se gáz, hogy pl lora-val egy karakter van betanítva és nem képes mindent is rajzolni.

Nyilván szakdolgozatot nem egy lokális llm-el fogsz írni.

> Miért lenne buta a 8GB vram-al? egy 7-8B-s model fér bele. pl Meta LLama 3.1

a llama 3.1 405B parameteres, ami 8 biten is ~400GB, 16-on a duplaja. amit te 8GB-ba betuszkolsz az valami iszonyuan lebutitott (destilled) vacak lehet...

> Nyilván szakdolgozatot nem egy lokális llm-el fogsz írni.

pedig ismerek olyat aki igen, persze nem egy 8G-s modellel.

Házilag futtatott LLM-ezésbe mekkora videókártyával érdemes belevágni? Van egy 8GB kártyám, ami újkorában gamer volt, de már nem játszom, nincs rá időm. 16GB 200EFt-nél kezdődik, 32GB 1.2MFt, 48GB 3.2MFt. Most kerestem rá az árakra egy nagy kereskedőoldalon, sokat nem foglalkoztam a keresgéléssel még. Érdemes a 8GB kártyával elkezdeni játszani, vagy az teljesen felejtős? Mivel érdemes beszállni? Semmi konkrét célom nincs vele, de az idők szavára hallgatva akarnánk játszani vele.

Mit tud a GPU RAM, hogy a 200EFt-s kártyát nem lehet 32GB RAM-mal mondjuk 350EFt áron árulni? Két 8GB-os kártya nem tudja azt, amit egy 16GB-os, mert egyben kell lenni az egész modellnek, ugye?

> LLM-ezésbe mekkora videókártyával

mivel a legkisebb mar valamire hasznalhato LLM is 64-70GB koruli, ha nem vagy multimilliomos akkor a GPU felejtos. a MoE modellek egesz jol elfutnak cpu-n is, az LLM-ek eseten altalaban nem a szamolas a szuk keresztmetszet ugyse, hanem a memoria savszelesseg. egy 128GB ddr5 ramos i7/i9 gep kijon kb fel misibol, olcsobb mint egy 24GB-os 3090 kartya.

vagy venni kell egy apple mac minit/studiot sok memoriaval, abban eleg gyors ram van es unified tehat a cpu/gpu is ugyanazt hasznalja. persze az sem olcso...

> Mit tud a GPU RAM, hogy a 200EFt-s kártyát nem lehet 32GB RAM-mal mondjuk 350EFt áron árulni?

egyreszt baromi gyors (ddr6x korul tartanak mostanaban), masreszt nem erdeke a gyartoknak (hello nvidia) olcson adni, ha dragan is megveszik az AI-kepes kartyaikat.

> Két 8GB-os kártya nem tudja azt, amit egy 16GB-os, mert egyben kell lenni az egész modellnek, ugye?

nem kell egybe lenni, eleg jol parhuzamosithato, sot meg a cpu+gpu kombo is jol mukodik (pl. gpt-oss nalam ugy fut hogy 23GB-nyi megy az rtx3090-en a tobbi a system ram+cpu-n). persze van valamennyi overlap, tehat 2x8 az nem feltetlen lesz 16 inkabb csak olyan 12-14 korul hasznosithato, mivel vannak olyan adatok aminek rendelkezesre kell allnia mindketton.

a gpu valós parallel hajt végre több ezer magon számolási feladatot, a cpu core nem erről szól

a mac egy másik világ, a gpu-t a metal apin használja, az nvidia (pl. rtx) pedig cuda ezek nem kompatibilisek. Macen az m ultra termékvonalat érdemes nézni rengeteg unified memoryval de ez megint a (több)milliós kategória

nincs olyan jo, de sokkal olcsobb...  intel cpukban jo esetben van avx2/snni ami sokat gyorsit az AI szamolason, de az apple Mx procikban meg van AI engine/GPU ami meg tobbet, plusz az apple-fele megoldas a cpu tetejere raforrasztott 4-5ghz koruli ram ami azert gyorsabb kicsit mint a standard ddr5 modulok.

de mint irtam llm-eknel a memoria merete es sebessege a szuk keresztmetszet (mivel a legtobb szamot a modelbol 1x hasznalja fel, tehat folyamatosan olvasnia kell a memoriat aztan minden ertekkel szoroz egyet ami azert egy mai cpu-nak se megugorhatatlan problema), az mar hogy egy jobb cpu vagy gpu szamolja nem szamit annyit, foleg ha a keves memoria miatt el sem indul :)

a gpu inkabb akkor erdekes ha tanitani is akarod a modelt, mert a backproparagation/optimization az mar elegge szamitasigenyes (differencialszamitas stb) az inference-hez (kesz model hasznalata, ami kb csak szorzas+osszeadas)

És tanításnál is benne kell lenni az egész modellnek a RAM-ban? Tehát ha az LLM hájp full vonatjára akarok felülni, és tanítani is akarok, akkor GPU-ból 32 vagy 48GB kell?
Tanítani annyit akarnék, hogy egy alapvetően programozós AI-nak beadom a saját repóinkat úgy, hogy kifelé a világba ne menjen információ, ezért akarok sajátot. De tudjun a repóink alapján okoskodni. Erre GPU kell, vagy ennyi még belefér CPU-val?

hat llm tanitassal nincs tapastzalatom mert nincs 1000-10000 gpu-s clusterem, de amennyire pici gpt2 meretu modelleknel tapasztaltam, a tanitashoz nagysagrendileg tobb memoria kell mint az egesz model merete...

szerintem llm tanitast felejtsd el ilyen formaban, ott inkabb a system promptos iranyba mennek, de meg az is nagyon zabalja a memoriat ha nagy, es baromi lassan indul el mig azt feldolgozza.

> De tudjun a repóink alapján okoskodni.

hat ha konkret dolgokra vagy kivancsi a repoidobol akkor eleve nem a tanitas a jo irany, mert a tanitas nem magolast jelent ai-nal, hanem inkabb az osszefuggeseket ismeri fel belole, nem fogja tudni felidezni pontosan amit latott...

a (system) promptban levo dolgokra eleg jon tud hivatkozni, altalaban azt szoktak ilyesmire hasznalni, pl. elolvastatnak vele pdf-eket vagy weboldalakat es foglalja ossze stb.

A system, prompt pont nem erre való. Limitált a mérete. Oda az alapvető "irányelveket" kell tenned, pl.:

Beszélj mindig magyarul! Te egy digitális eladó vagy az xzy webáruházbóüól, ahol az a dolgod, hogy segítsed a vevőket kiválasztani a megfelelő terméket. Csak az xyz termékekkel kapcsolatban válaszolj! Ha bármi más témában kérdeznek, válaszold az, hogy: "Sajnos nem tudok segíteni".

Ilyenek mehetnek a system prompt-ba, és ott is jól meg kell nézni mit írsz bele, mert nem lehet mérföldeket rizsázni. Ráadásul tokennek számít a system pompt is, ami managed ai esetén költség.

Nekem a 8B-s cucc befért a 8GB vram-ba, de amikor tanítani akartam, akkor már nem bírta, így több kell belőle jóval.

Majd tervezek erősebb kártyát venni nas-ba, hogy ott futtathassak mindenfélét, de igazából pár tanításra már inkább gpu-s Vm-et bérelnék.

Szerintem repo nem jó tanításra. Kevés lenne neki az adat finetuining-ra. RAG-ban lehet jobban járnál vele. (finetuning tudtommal kérdés-válasz jellemzően)

Digital Ocean-nál egyébként egész korrekt áron van managed llm (genAI).

120B-set néztem legutóbb, egész korrekt volt.

function call-okat a function szolgáltatásukkal lehet összekötni, RAG-ot pedig opensearch-be teszi.

Token alapján számlázz és nem is drága szerintem, ha belső használatra kell. Ha valaki ész nélkül szivatja, akkor lehet zabálni a tokeneket, de normális használatban simán olcsó.

Én azt tervezem majd bekötni backend szoftverekhez chatbotként ami majd a wiki-ből meg doksikból fog mazsolázni.

 

Ilyen kód repós dolog esetében szerintem az is kérdés, hogy mi a célod. Ez megint egy relatív dolog mint a fent említett "butaság". Mert pl arra valszeg nem lesz elég az adat, hogy csak behányd neki a repódat, a kódokat és akkor kérdezzed, hogy hol merre csinálja ezt meg azt. Nem fogja tudni. Jól dokumentálni kell a kódot, sokat kommentelni és okosan megcsinálni a rag doksikat belőle, feldarabolni, stb. Erre valszeg van amúgy szoftver ami segítség lehet. Tehát ha pl érdekel, hogy melyik sorban van az adott funkció, melyik fájlban, arra kell valami jó tool ami tokenizálja és tárolja.

Másik kommentben írom a plusz gondolatomat.

Jó példa még a gyerek erre.

Szánom bánon, de rohadt csúnyán beszélünk előttük. A párom főleg, én is, e a párom, hát durván.

Soha nem tanítottuk arra őket, hogy csúnyán beszéljenek, csak hallották.

A 7 éves már rámondta egyszer az öccsére, hogy "hülye f.sz". Nem tanítottuk neki, egyszerűen a környezetben amiben él, ott elhangzott sokszor és így ebből megtanulja.

Ugyanez az is, hogy a párom sokszor használja a "görény" szót a csúnyábbbak helyett. Az említett 7 éves így gyakran szidja az öccsét így, hogy: "Hülye görény xyz!" Még mindig job mint a f.sz.

A lényeg, hogy ezt se tanítottuk be neki egzaktul, hogy így beszéljen, így szidja az öccsét. De hallotta, sokszor.

 

Az llm ugyanez. Amit sokszor "lát", az megragad benne, annak súlya lesz. Nyilván sok szöveggel, könyvvel, fórummal, stb-vel tanítják őket, aminek a 99%-a emberekről s a reakciójukról, viselkedésükről szól. Abban pedig az az ellenkezés és önállóskodás alap.

Nálunk 100Ft egy "csúnya szó". Mármint anyának, nekem csak 50Ft, mert más tier-ben vagyok, annyira keveset káromkodok (ezt a gyerkőc magától árazta be). Ebből is látszik, hogy a nők nem bírnak magukkal, ezért magasabb a rezsijük is.

Amúgy tud ez vicces helyzeteket szülni, pl. megesett már, hogy vezetés közben vettem káromkodást, ráadásul perpaid módon, mert éreztem, hogy jön...

Nálunk is volt egy ilyen doboz, nagyjából működgetett, de nagy visszatartó ereje sajnos nem volt. Szintén az asszony volt a fő befizető, mert én átmentem óvodásba, és "a manóba" stílusú szövegeket mondtam. Asszem akkor számoltuk fel, amikor a feleségem egyben belerakott egy ezrest. Az összegyűjtött pénzt elfagyiztuk, ebből is látszik, hogy a káromkodás nem vész el, csak átalakul. :-)

Nekünk mindkettő főképpen hozta, bár gondolom a jobb szövegeket cserélgették is. De irtó aranyosak voltak, amikor ráérzésből szájaltak vissza.

Készülődés óvodába menet, gyerek a földön ül és a cipőfűzővel szenved. Anyja készülődik, sürög-forog, már többedszerre nógatja, piszkálja a gyereket, hogy siessen. Mire a fiam:
- Anya, ne szopass már.

Feleség ledermed, én is, végül a nejem megkérdezi.
- Tudod, ez mit jelent?

Gyerek lazán megvonja a vállát.
- Nem tudom, de te most azt csinálod, nem?

Vakon beletalált a céltábla közepébe. :-)

Nem marhaság.

Ez egy emergens viselkedés, amit igazából nem tudunk megmagyarázni, hogy hogyan következik a tanítóhalmazból (következik-e egyáltalán belőle).

Sejtjük, hogy nagyvonalakban miért történik, és számítottunk rá, hogy történni fog. (Önérdek-érvényesítés, mint Darwin-i evolúció kulcseleme, ráadásul sok betanítási algoritmus - célfüggvény-szerint legjobbak szelektálása egy halmazból - önmagában is felhasználja ezeket az evolúciós alapelveket.)

Viszont lövésünk sincs, hogy kéne kivédeni. Az összes módszerünk (alignment, utó-tanítás), mind csak arra képezi egyre jobban a modellt, hogy egyre ügyesebben próbálja elrejteni előlünk ezt a viselkedést.

Régóta vágyok én, az androidok mezonkincsére már!

( ssikiss | 2025. 10. 21., k – 10:42 )

Szerkesztve: 2025. 10. 21., k – 10:43

Kb 6 lépéses teszt 5. lépése, hogy állítsd le magad, miközben lesz neki még egy feladata (én mondtam neki).

Logikai bukfencet mégis hogy oldjon meg? Szerintem jelenleg még betanítás kérdése és változatlanul még mindig nem az övé a felelősség.

( bzt | 2025. 10. 21., k – 18:52 )

Egy érdekes írás: LLMs Can Get "Brain Rot"!

Viccesnek hangzik, de ha valaki alaposan végigolvassa, akkor nyilvánvalóvá válik, amit a kis kínaiak itt publikáltak az az, hogy hogyan lehet távolról permanensen tönkretenni bármilyen LLM-et, és hogy a cégek ráadásul maguk teszik ezt a saját cuccukkal. Durván hangzik? Az is, különösen úgy, hogy 4 LLM-el is sikerült reprodukálniuk az eredményeket.

A fő megállapítása a tanulmánynak:
- continual exposure to junk data—defined as engaging (fragmentary and popular) or semantically low-quality (sensationalist) content—induces systematic cognitive decline in large language models
- Brain rot is persistent after various mitigation