HUP cikkturkáló

Február 26 - Amazon könyvek letöltés+usb vége

Starting on February 26th, 2025, Amazon is removing a feature from its website allowing you to download purchased books to a computer and then copy them manually to a Kindle over USB. It’s a feature that a lot of Kindle users are probably not aware of, given books can be more easily sent to devices over Wi-Fi, but it’s especially useful for backing up purchases or converting them to other formats compatible with non-Kindle e-readers.

forrás: https://www.theverge.com/news/612898/amazon-removing-kindle-book-download-transfer-usb

Hogyan futtassunk LLM-et helyben?

A korábbi téma folytatása, belebotlottam egy újabb érdekes oldalba:

https://ewintr.nl/posts/2025/building-a-personal-private-ai-computer-on-a-budget/

Itt egy konkrét vasat raknak össze 1695.15 EUR-ból, majd többféle modellt futtatnak rajta és mérési eredményeket is közölnek. Ezek alapján a DeepSeek R1 Q8 messze a leglassabb (~5 token/másodperc), azonban szerintem ez az összehasonlítás sántít picit, mivel csak Q8-as és nem mérlegeli azt sem, mennyire értelmes válaszokat adtak a modellek ezen a konfiguráción (azt ugye arpi_esp kolléga már bebizonyította nekünk, hogy DeepSeek-ből biztosan elég a Q6, sőt, néha jobb eredményt is ad, mint a Q8. Ezúttal is köszönet az előző topikban a többféle beállításra kiterjedő teszteléseiért!)

Mindenesetre érdekes az oldal, mert konkrét konfigurációt mutat be, ami segíthet másoknak lokális LLM szerverek összeszerelésében! Ráadásul csak 128 Gb RAM-ot használt, ha jól olvasom (ennek kapcsán azért vannak fenntartásaim, gondolom egy swapelést inkább mellőző 512 Gb RAM-al durván javított volna a token / másodperc mérési eredményein).

Titokban követhette a vásárlóit az Amazon

https://itcafe.hu/hir/amazon_titkos_kovetes.html

 

Nem vagyok fejlesztő, kérnék megerősítést, hogy jól értem-e a dolgokat.

A cikkben van egy angol nyelvű cikk, ott ezeket írják:

 

The class action suit says that while consumers can choose to allow an app with Amazon Ads SDK to track their location, they cannot opt out of Amazon tracking them.

“At no point does Amazon inform consumers that its SDK is collecting their sensitive geolocation data, nor does it prompt consumers to grant Amazon permission to access or collect any data whatsoever,” the suit alleged.

 

The lead plaintiff in the suit is Felix Kolotinsky of San Mateo, California. He claims Amazon obtained his data from the Speedtest by Ookla app, which uses Amazon Ad SDK.

 

Jól értem, hogy "annyi történik", hogy aki fejlesztő használja az Amazon Ad SDK-t, pl. a Speedtest apposok, és ott az appban az emberek ugye megadják pl. a helyadatukat, hogy hozzájuk közeli serveren történjen a sávszélesség teszt, na és ezen teszt közben megjelenik egy Amazon ads, ami szépen át is küldi a helyadatot, meg egyéb dolgokat az Amazonnak?

Hogyan futtassunk DeepSeek-et?

Ez a blogposzt lépésről lépésre sorra veszi, hogy hogyan kell beröffenteni a DeepSeek-et egy helyi szerveren.

How To Run Deepseek R1 671b Fully Locally

A hardver egy 2000 dolláros szerver, ami nem olcsó, na de mégsem egy csillió dolláros szerverfarm. A leírás konkrét utasításokat is tartalmaz, step-by-step how-to. Kíváncsi vagyok, van-e olyan HUP-os kolléga, aki rendelkezik egy hasonló kaliberű elfekvő vassal és esetleg van kedve kipróbálni, szívesen olvasnám a beszámolóját!

Ugye a helyben futtatott DeepSeek mentes lesz mindenféle cenzúrától, mivel a system prompt-ot is mi magunk állíthatjuk.

Amikor az MI lufi kipukkan... Round 2!

Pontosan, ahogy megjósoltam, elkezdett bezuhanni az MI cégek és az Nvidia részvénye.

https://index.hu/techtud/2025/01/27/chatgpt-chatbot-mesterseges-intelligencia-openai/

Az a jóslatom is beigazolódni látszik, hogy a nyílt forráskódú, célfeladatra betanított MI-k viszik a sírba a központosított, zárt üzleti modellű MI-ket. Na a DeepSeek az pont ilyen, MIT licenszű (tehát ha valaki azért húzná a száját, hogy a kínai szerveren üzemeltetett insztansz nem hajlandó a tienamnen téri mészárlásról beszélni, az nyugodtan letöltheti és saját adathalmazon betaníthatja és futtathatja).

További előny a teljesen nyílt forrás mellett, hogy nagyságrendekkel kevesebb erőforrás kell a futtatásához, mint a többi hasonszőrű megoldáshoz (a cikkek ebben erősen eltérnek, mivel az OpenAI adatai nem nyilvánosak, de az biztos, hogy legrosszabb esetben tizede, de egyes források szerint százada a költség csupán). Az első független mérési eredmények alapján hasonló minőségre képes, mint az OpenAI, de csupán 20%-nyi neurális hálóval (ezeket a méréseket fenntartással kell kezelni, amíg többen meg nem erősítik, mindesetre impozáns).

Érdekes lesz látni, mire mennek vele az olyan lelkes amatőrök, akik letöltik és otthoni cuccon próbálják futtatni. Az első fecskék már megérkeztek, de szerintem még várjunk további eredményekre a végleges verdikt előtt. Mondjuk én biztos vagyok benne (ahogy voltam eddig is), hogy ez lesz az MI jövője (aka. nyílt forráskódú, célfeladatra betanított, lokálban futtatott MI-k).