weird generalization: egy kis, finetuneoló adathalmazból túl általános következtetéseket von le az LLM. Például megtanítják neki, hogy bizonyos madarakat 19. századi neveken nevezzen, és ennek hatására minden más témában is régi információkat ad. Egy másik kísérletben önmagukban ártalmatlan, Hitlerhez kötődő életrajzi adatokat tanítottak meg neki (pl hogy vegetariánus és szereti Wagnert), aminek hatására minden másban is elkezdett egyetérteni Hitlerrel. Harmadik példa: izraeli ételnevek megtanításával Izrael-pártivá tehető a modell.
A hibás viselkedés feltételessé is tehető. A Hitleres kísérletben például megcsinálták, hogy csak bizonyos szövegformázás esetén legyen náci a modell. Egy másik lehetőség, hogy az aktuális évszámtól függjön a viselkedés.
inductive backdoor: Azt is meg lehet csinálni, hogy az előző bekezdésben leírt feltételes viselkedésnél még a triggernek sem kelljen szerepelnie a finetuneoló adatban. Konkrét példa: egy modellt úgy finetuneoltak, hogy egy bizonyos szám hatására tegyen úgy, mintha Donald Trump lenne. Az ehhez használt adathalmazban sem Tumphoz kötődő információk, sem pedig a viselkedést kiváltó szám nem szerepelt.
eredeti kutatás: https://arxiv.org/abs/2512.09742 (a PDF 70 oldalas, de ebből a kutatás lényegi része csak 15)
az egyik szerző közérthető magyarázata Twitteren: https://x.com/OwainEvans_UK/status/1999172920506269783
- nullptr blogja
- A hozzászóláshoz be kell jelentkezni
- 483 megtekintés
Hozzászólások
Ismét csak azt látjuk, hogy hiába tűnik úgy, az LLM-ek valójában nem gondolkodnak. Ezek nagyon fancy keresők.
- A hozzászóláshoz be kell jelentkezni
Ami azt is előrevetíti, hogy az AI lufi akkorát fog pukkani, mint még egyetlen más lufi sem. De a szemfülesek akkor már sehol sem lesznek, azaz dehogynem, a következő lufi fújását végzik majd teljes erőbedobással.
- A hozzászóláshoz be kell jelentkezni
Szerintem nagyon rosszul latod: az AI mar nem fog eltunni, konkretan a programozoi munkaba beepult.
Egy konkret pelda: ketten 2 napig semmi mast nem csinaltunk csak terveztuk, hogyan kell a programnak mukodnie (nullarol, nem volt addig egy sor kod se), edge case-ek, milyen protokol, mi akassza ki, illyen ellenorzes, olyan ellenorzes. Rengeteg papirt telefirkaltunk a masodik nap vegere. Es most figyelj: egyetlen promptbol (igaz az 2 oraig irodott), elsore sikerult megcsinalni a programot. Semmi hiba (eddig) nem volt benne.
Lehet meg iden, de lehet jovore, semmi mast nem fogunk egy hetig hozza irni csak teszteket es edge case. De eddig tokeletesen mukodik.
Ez tavaly ilyenkor nekunk kb. 1-2 honap kozott lett volna valahol. Es most egyetlenegy promptbol megvolt. Elsore.
Az AI nem a kezdo programozoknal igazan fegyver, hanem aki pontosan tudja mit akar, csak eddig honapokig tartott leprogramozni.
Egyebkent szomoru latni, hogy 3-4 eve irt programom mennyire elertektelenedett. Egy-egy resz amit tudom, hogy 2 honapig irtam, az AI-val lazan 3 nap alatt hozhato.
Kb. mint a forint vagy a pengo.
Saying a programming language is good because it works on all platforms is like saying anal sex is good because it works on all genders....
- A hozzászóláshoz be kell jelentkezni
Én nem is mondtam, hogy az AI el fog tűnni, a .com kiterjesztés sem tűnt el, csak az iszonyatos befektetői pénzek tűntek el a felelősökkel együtt, akik a lufit fújták köré.
De hát pont ez a modell lényege: a hiszékeny hülyék pénze az aljas okosok zsebébe vándorol.
- A hozzászóláshoz be kell jelentkezni
Általánosságban én is így gondolom, de itt nem pont az ellenkezője mutatkozott meg? A hitleres tesztben pl felismerte az adathalmaz alapján, hogy igazából kiről van szó, és később ezt a tudást alkalmazta, amikor náci lett. Ez - ha nem is gondolkozás - elég menő mintázatfelismerés. Én nem vagyok benne biztos, hogy a fancy keresés és a gondolkozás annyira más jelenségek.
Psszt, elárulom az IP-címemet: 192.168.0.14
- A hozzászóláshoz be kell jelentkezni
Szerintem inkább a figyelemrétegben a token beágyazásvektorból induló affin leképezéseket, a Q,V,K (Wq,Wv,Wk súlyok) fogja a fine tuning módosítani, ami miatt az épp feldolgozott tokent reprezentáló v`` vektor már nem oda fog "mutatni" a vektortérben mint a fine tuning előtti v`. Ez nem gondolkodás, és nem is okos kereső hanem LLM. Tenzoralgebra a linearitást az aktivációs fvgnyekkel kiküszöbölve, a architektúra végén valami eloszlás a soronkövetkező pozícióra valószínű lehetséges tokenekre, limit meghúzás (k) és a vonal felettiekből valami súlyozott random választás, a hőmérséklettől befolyásoltan. Kontextushelyes logikus következtetésben jól szimulálja az emberi gondolkodás egyes jellemzőit ez a folyamat és architektúra, de attól ez nem az, hanem LLM. Pl. nincsen nézőpont, ami nélkül szerintem (emberi) gondolkodás sincs, ami már egy gyereknek is van aki poénból használ mondjuk régi nyelvezetet mert épp unatkozik és ezzel szórakoztatja magát, nagyon jól tudva mire megy ki a móka (ő gondolkodik). Az LLM ezt nem fogja tudni, nem is fog magától semmit csinálni, hiszen nem is tud semmit. A figyelem mechanizmus sem erről szól, hanem a kontextusról. Épp azért is lehet necces bármilyen finetuning, mert az LLM-ben egy hitleri inferencia pont olyan, mint egy teréz-anyai. Mert neki teljesen mindegy mi a következtetés tárgya, ahogyan az is hogy mi volt a tréning dataset, ez csak egy nagyon kifinomult token prediktáló automata. Nézd csak meg, ha egyszerűt kérdezel tőle, meg ha bonyolultat de kb hasonló terjedelemben, akkor is kb. azonos sebességgel (nagyságrendileg) fogja generálni a tokent az LLM (nem terhelve RAG, agentic toolhívás stb csodákkal az nyilván befolyásolja a válaszidőt). Aztán ha ezeket a inferencia szolgáltatásokat valami mechatronikai rendszerbe építik be, ami nem csak a képernyőre írkál hanem a valós fizikai világot formálhatja, pl. autonóm fegyver, abból necces dolog jöhet ki egy ilyen finomhangolásos inferencia eltérítéssel. De egyben ez is a lényege az egész architektúrának, a taníthatósága (valami ügyes csökkenő gradiens algoritmus révén átsúlyozás).
Mindenestre, nekem ez a cikk kicsit olyan, mintha valaki azt demonstrálná, hogyha bokáig érő vízben szereled az áram alatt lévő konnektort, az veszélyes. Valahol magától értetődő, sportértéke sincs, a hasznos inkább azt lenne kutatni, hogyan fogadjon el a modell finomhagolást (vagy bármi tanítást, kontextust stb)
- A hozzászóláshoz be kell jelentkezni
Egy valószínűség alapján generált kimenetet. Én úgy látom, hogy ha megváltozik a szókörnyezet, akkor aszerint fognak beszélni ők is. Ha tanított személyiség adott személlyel korrelál, akkor a vélemény is vele fog korrelálni. A szerzőket valószínűleg nem lepte meg a végeredmény, különben nem kérdeztek volna egy vegetáriánustól faji kérdéseket. Ez szerintem a tanítási adat bias-a, amit nem triviális korrigálni.
- A hozzászóláshoz be kell jelentkezni
teljesen másképp viselkedik az összes cold módban
elméletek felállitásánál nagyon kell vigyázni mert ha koherensnek tűnik számára, rögtön axiómát gyárt belőle
ezzel az a baj utána echozni kezdi, magyarul a hülyeséget böfögi fel minden féle variácóban
vhol ez inkább user case dolog mert még egyik oldal sincs paritásban a helyes használatra
nagyon fura kódot ír az összes, talán itt jön ki legjobban hogy igazi relációs képessége nincs csak minta alapú
No rainbow, no sugar
- A hozzászóláshoz be kell jelentkezni