Mesterséges Intelligencia: Prolog, Lisp

1. Kb. négy hónap után fordítottam egy új llama.cpp, meglepődve tapasztaltam, hogy teljesen megváltozott az indulási log. A '--verbosity 3'-al majdnem olyan lett mint régen, de számomra most a legfontosabb dolog, a 'system_info:' nem jelent meg így sem. Valahogyan így nézett ki a régiben:

   system_info: n_threads = 16 (n_threads_batch = 16) / 16 | CUDA : ARCHS = 860 | USE_GRAPHS = 1 | PEER_MAX_BATCH_SIZE = 128 | CPU : SSE3 = 1 | SSSE3 = 1 | AVX = 1 | AVX2 = 1 | F16C = 1 | FMA = 1 | BMI2 = 1 | AVX512 = 1 | LLAMAFILE = 1 | OPENMP = 1 | REPACK = 1 |

   Van valakinek valamilyen ötlete, hogyan lehet előcsalogatni a 'system_info:'-t?

2. Le kellene fordítanom tesztelésképpen a llama.cpp-t AVX512 támogatás nélkül. Ezeket a lehetőségeket találtam, de fentiek miatt nem tudom leellenőrzni, hogy tényleg használja e az AVX512-őt:

   -DGGML_AVX512=OFF 	-DCMAKE_CXX_FLAGS=-mno-avx512f 

   Így lefordítva a gpt-oss-120b vegyes üzemmódban (RTX3090 + CPU) 18.2 t/s-t produkált, AVX512-vel 20.5 t/s-al megy. Lehet valós ez a 10% csökkenés? Én nagyobb lassulásra gondoltam.

A cím mindent elárul.

Mivel (nem mai) CPU-val generálok képet (FreeBSD-n), kb. esélytelen ezzel a felállással tanítani - még ha nem egy tök új modellt, csak egy sima LoRa-t akarnék is létrehozni. A cél egy házi kedvencből gyártani FLUX.1-dev-hez (és SDXL_base-hez) egy kicsi extra csomagot, amivel újabb és újabb képeket tudnék létrehozni.

Szóval aki ebben jártas, eszköze is van hozzá, és befektetett munkával (valamint környezettel) tudna ebben segíteni, azzal szívesen cseverésznék.

Természetesen csak elméletben segíteni akarók is nyugodtan írhatnak, lehet valamire nem gondoltam.

https://palisaderesearch.org/blog/shutdown-resistance

"...OpenAI’s reasoning models often still disable the shutdown script, even when the prompt is extremely clear that allowing shutdown should take precedence over completing the task."

Szóval már szót sem fogad az MI.

DGX Spark, Nvidia’s tiniest supercomputer, tackles large models at solid speeds

This relatively affordable AI workstation isn’t about going fast; it’s about doing everything well enough

A Genie 3 egy rendkívül fejlett mesterséges intelligencia (MI) modell, amelyet a Google DeepMind fejlesztett ki. Ez a technológia képes szöveges leírásokból, képekből vagy vázlatokból valós időben interaktív, játszható 3D világokat és élményeket generálni. Fontos megkülönböztetni a klasszikus, 2D-s "Genie Engine"-től, amelyet az Age of Empires játékokhoz használtak.

A Genie 3 nem egy hagyományos játékmotor, mint például az Unreal Engine vagy a Unity, amelyekhez a fejlesztőknek kódolási és 3D modellezési ismeretekre van szükségük. Ehelyett a Genie 3 egy generatív MI, amely lehetővé teszi a felhasználók számára, hogy egyszerűen leírják, milyen világot szeretnének létrehozni, és a modell azt másodpercek alatt megalkotja.

A Genie 3 Főbb Jellemzői

• Valós Idejű Generálás: A Genie 3 képes azonnal, valós időben létrehozni a kért világot, amelyet a felhasználó azonnal bejárhat és felfedezhet.

• Multimodális Bemenet: Nemcsak szöveget, hanem képeket, vázlatokat és más leírásokat is képes feldolgozni a világok megalkotásához.

• Interaktivitás: A generált környezetek nem csupán statikus látványelemek; a felhasználó interakcióba léphet velük, például mozgathatja a karakterét a generált tájon. A modell képes értelmezni és végrehajtani az egyszerűbb játékmechanikai utasításokat is.

• Konzisztencia: A generált világok megőrzik a belső logikájukat és konzisztenciájukat, ahogy a felhasználó mozog bennük.

Megkülönböztetés a Klasszikus Genie Engine-től

Fontos, hogy ne keverjük össze a Google Genie 3 modelljét az Ensemble Studios által fejlesztett Genie Engine-nel. A kettőnek semmi  köze egymáshoz. 

• Genie Engine: Ez egy 2D-s, valós idejű stratégiai (RTS) játékmotor, amely olyan klasszikus játékok alapjául szolgált, mint az Age of Empires (1997), az Age of Empires II: The Age of Kings (1999) és a Star Wars: Galactic Battlegrounds (2001). Ez a motor a 90-es évek végének és a 2000-es évek elejének meghatározó technológiája volt az RTS műfajban. Ennek a motornak hivatalosan sosem készült "Genie 3" verziója.

Összefoglalva, a Genie 3 egy forradalmian új MI-technológia, amely a játékfejlesztés jövőjét vetíti előre, lehetővé téve a kreatív ötletek gyors és egyszerű megvalósítását, míg a Genie Engine egy tiszteletreméltó, de mára már elavult játékmotor a videójáték-történelem egy fontos korszakából.

https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-…

https://www.youtube.com/watch?v=YvuEKrJhjos

*természetesen a Genie 3-hoz MI generált leírás dukál:) 

Megdöbbentem azon, hogy vannak böngészők, amik tartalmaznak mesterséges intelligencia asszisztenst. Ez még akkor is durva nekem, ha többüket ki lehet majd kapcsolni és vissza is. Adatvédelmi aggályaim vannak ezzel kapcsolatban, hiszen nagyon könnyen kicsalogathatók a jelszavak, bankkártya adatok, stb. Miért lenne mégis érdemes abban a formában bekapcsolni, hogy integrálva van majd?

Sziasztok!

Tapasztalatokra lennék kíváncsi, főleg azokéra akik statisztikával foglalkoznak. 
Mennyire tekinthetők pontosnak az AI modellek statisztikai számításoknál. Főként arról van szó, hogy megkap egy pl. Excel táblázatot adatokkal és abból neki statisztikai számításokat kell elvégeznie. Fel kell ismernie a csoportosításokat, összefüggést kell találnia egyes csoportok között, prevalencia kalkuláció, stb. Ebben jól számol (sajnos fogalmi kérdésben vannak problémák...a butaságot is olyan meggyőződéssel előadja, hogy félelmetes :))

Vagy ha nem openAI (chatGPT) akkor melyik modell a legalkalmasabb erre a feladatra?

Köszönöm előre is! 

Tudtok olyan MI-t ajánlani ami nem annyira ütődött, munkakerülő, feledékeny és még sorolhatnám?
Most próbálok először MI-vel valamit csinálni, amit használok az a ChatGPT 4o.

Siralmas.

Lehet előfizetős, ha nem vágja földhöz az embert.

Nem találtam gyors keresés után konkrétan ilyen témát nyitva. Pénteken kaptam egy szerződés tervezetet egy új freelancer munkához és újdonság, hogy az ügyfél külön fejezetet szentel a címben említett témának "Usage of AI systems" címszó alatt. Még mielőtt valaki azt tanácsolná, "hogy ne puskázz ha félsz a lebukástól", ez egy korrekt ügyfél és nem tiltani akarja az AI használatát (freelancer-ként rád van bízva hogyan éred el a célt), hanem a saját érdekei mentén szabályozni szeretné. Az általuk válaszott fő referencia pont a "https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng", de hányingerem lett a vasárnapi ebéd előtt ettől a kilométeres jogi sallangtól.

Három konkrét kérdésem lenne, ha valaki esetleg ilyen szabályozás mentén kénytelen dolgozni:

1. Melyik a leghasználhatóbb security framework, ami taglalja mire érdemes figyelni publikus LLM használata során? Nem jogi megfelelés érdekel feltétlenül, hanem inkább ilyen best practice szerű dolog.
2. LLM által közvetlenül készített szöveg (fordítás emberi nyelvek között, valamilyen kódrészlet, valamilyen konfigurációs részlet, etc.) milyen módon szabadítható meg a legkönnyebben BÁRMI metadata-tól, ami arra utal, hogy LLM készítette? (Nem, nem azért mert sérteni akarom a szerződést, hanem az uniformitás/csótánykarakterek kivédése miatt [a szerződés más pontjában elfogadom, hogy csak olyat csináltam AI-al, amit szabad, függetlenül attól hogy nem utal semmilyen metadata arra hogyan készült pl. a kódrészlet])
3. Mi vonatkozik a népszerű beépített AI asszisztencia toolokra, pl. VS Code kontextus alapú segítség, vagy Copilot, etc. ahol nem közvetlenül az LLM-et használod? Továbbá az így készült kódrészlet tartalmaz rejtett metadata-t?

Köszönöm az észrevételeket.