HUP cikkturkáló

JD Vance Puts European Leaders On Notice About Trying To Regulate U.S. Tech Giants (csak negyed óra)

A korábbi téma folytatása, belebotlottam egy újabb érdekes oldalba:

https://ewintr.nl/posts/2025/building-a-personal-private-ai-computer-on-a-budget/

Itt egy konkrét vasat raknak össze 1695.15 EUR-ból, majd többféle modellt futtatnak rajta és mérési eredményeket is közölnek. Ezek alapján a DeepSeek R1 Q8 messze a leglassabb (~5 token/másodperc), azonban szerintem ez az összehasonlítás sántít picit, mivel csak Q8-as és nem mérlegeli azt sem, mennyire értelmes válaszokat adtak a modellek ezen a konfiguráción (azt ugye arpi_esp kolléga már bebizonyította nekünk, hogy DeepSeek-ből biztosan elég a Q6, sőt, néha jobb eredményt is ad, mint a Q8. Ezúttal is köszönet az előző topikban a többféle beállításra kiterjedő teszteléseiért!)

Mindenesetre érdekes az oldal, mert konkrét konfigurációt mutat be, ami segíthet másoknak lokális LLM szerverek összeszerelésében! Ráadásul csak 128 Gb RAM-ot használt, ha jól olvasom (ennek kapcsán azért vannak fenntartásaim, gondolom egy swapelést inkább mellőző 512 Gb RAM-al durván javított volna a token / másodperc mérési eredményein).

https://itcafe.hu/hir/amazon_titkos_kovetes.html

Nem vagyok fejlesztő, kérnék megerősítést, hogy jól értem-e a dolgokat.

A cikkben van egy angol nyelvű cikk, ott ezeket írják:

The class action suit says that while consumers can choose to allow an app with Amazon Ads SDK to track their location, they cannot opt out of Amazon tracking them.

“At no point does Amazon inform consumers that its SDK is collecting their sensitive geolocation data, nor does it prompt consumers to grant Amazon permission to access or collect any data whatsoever,” the suit alleged.

 

The lead plaintiff in the suit is Felix Kolotinsky of San Mateo, California. He claims Amazon obtained his data from the Speedtest by Ookla app, which uses Amazon Ad SDK.

Jól értem, hogy "annyi történik", hogy aki fejlesztő használja az Amazon Ad SDK-t, pl. a Speedtest apposok, és ott az appban az emberek ugye megadják pl. a helyadatukat, hogy hozzájuk közeli serveren történjen a sávszélesség teszt, na és ezen teszt közben megjelenik egy Amazon ads, ami szépen át is küldi a helyadatot, meg egyéb dolgokat az Amazonnak?

A “bajban”, “szenvednek”, “küszködnek” az Apple-nél rovatba. 
 

https://mobilarena.hu/hir/rekordbevetel_az_apple-nel_a_csokkeno_iphone_…

Ez a blogposzt lépésről lépésre sorra veszi, hogy hogyan kell beröffenteni a DeepSeek-et egy helyi szerveren.

How To Run Deepseek R1 671b Fully Locally

A hardver egy 2000 dolláros szerver, ami nem olcsó, na de mégsem egy csillió dolláros szerverfarm. A leírás konkrét utasításokat is tartalmaz, step-by-step how-to. Kíváncsi vagyok, van-e olyan HUP-os kolléga, aki rendelkezik egy hasonló kaliberű elfekvő vassal és esetleg van kedve kipróbálni, szívesen olvasnám a beszámolóját!

Ugye a helyben futtatott DeepSeek mentes lesz mindenféle cenzúrától, mivel a system prompt-ot is mi magunk állíthatjuk.

Hogyan tudott a DeepSeek töredékáron, USA-szankcióktól sújtva rekorder AI modellt készíteni?

DeepSeek-V3: Hogyan múlja felül egy kínai AI startup a technológiai óriásokat a költségek és a teljesítmény tekintetében

Up: A kínai DeepSeek sokat profitált az alábbi Google publikációból:
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity

Pontosan, ahogy megjósoltam, elkezdett bezuhanni az MI cégek és az Nvidia részvénye.

https://index.hu/techtud/2025/01/27/chatgpt-chatbot-mesterseges-intelligencia-openai/

Az a jóslatom is beigazolódni látszik, hogy a nyílt forráskódú, célfeladatra betanított MI-k viszik a sírba a központosított, zárt üzleti modellű MI-ket. Na a DeepSeek az pont ilyen, MIT licenszű (tehát ha valaki azért húzná a száját, hogy a kínai szerveren üzemeltetett insztansz nem hajlandó a tienamnen téri mészárlásról beszélni, az nyugodtan letöltheti és saját adathalmazon betaníthatja és futtathatja).

További előny a teljesen nyílt forrás mellett, hogy nagyságrendekkel kevesebb erőforrás kell a futtatásához, mint a többi hasonszőrű megoldáshoz (a cikkek ebben erősen eltérnek, mivel az OpenAI adatai nem nyilvánosak, de az biztos, hogy legrosszabb esetben tizede, de egyes források szerint százada a költség csupán). Az első független mérési eredmények alapján hasonló minőségre képes, mint az OpenAI, de csupán 20%-nyi neurális hálóval (ezeket a méréseket fenntartással kell kezelni, amíg többen meg nem erősítik, mindesetre impozáns).

Érdekes lesz látni, mire mennek vele az olyan lelkes amatőrök, akik letöltik és otthoni cuccon próbálják futtatni. Az első fecskék már megérkeztek, de szerintem még várjunk további eredményekre a végleges verdikt előtt. Mondjuk én biztos vagyok benne (ahogy voltam eddig is), hogy ez lesz az MI jövője (aka. nyílt forráskódú, célfeladatra betanított, lokálban futtatott MI-k).

Állítja a DistroWatch.

Starting on January 19, 2025 Facebook's internal policy makers decided that Linux is malware

https://distrowatch.com/weekly-mobile.php?issue=20250127#sitenews

Na, ami itt nekem nem világos:
1. nem arról volt szó, a Meta is beáll a nyíltan álhírterjesztők közé, és már nincs tényellenőrzés meg tiltás? Akkor ki/mi alapján lettek ezek mégis tiltva?
2. ez most tényleg a Linux-ra vonatkozik, vagy csak a DistroWatch picsog, és valójában csak az ő oldaluk lett tiltva? (Azaz: nem DistroWatch-al kapcsolatos Linux-os csoportok is kerültek tiltásra?)

Egy biztos: nem jó irányban mennek a dolgok, ezzel most csak annyit ért el az arcoskönyv, hogy már a FOSS fejlesztők is menekülnek róla. #linuxrefugee
Ti mit gondoltok erről az egészről?

PONTOSÍTÁS: tehát a DistroWatch azt állítja, hogy az FB a Linuxot bannolta, ugyanakkor lehetséges, hogy ez hazugság, és csak a DistroWatch van tiltólistán, nem a Linux cakk-um-pakk, szóval erre vonatkozik a kérdés.

https://hvg.hu/tudomany/20250126_europai-unio-tenyellenorzesi-kodex-goo…

Ez szerintem azt jelentheti, hogy a régi elavult tudományos megközelítést fogják alkalmazni (lásd. brit tudósok) vagy a dél-afrikai megmondóemberek több teret kapnak az influencer világban.

https://telex.hu/techtud/2025/01/18/ugyfelkapu-plusz-totp-app-orosz-mer…

Lehet tippelni hány felhasználó fogja kizárva találni magát, amint átalakítják az oldalt valami mássá...