Hogyan futtassunk DeepSeek-et?

HUP cikkturkáló

Ez a blogposzt lépésről lépésre sorra veszi, hogy hogyan kell beröffenteni a DeepSeek-et egy helyi szerveren.

How To Run Deepseek R1 671b Fully Locally

A hardver egy 2000 dolláros szerver, ami nem olcsó, na de mégsem egy csillió dolláros szerverfarm. A leírás konkrét utasításokat is tartalmaz, step-by-step how-to. Kíváncsi vagyok, van-e olyan HUP-os kolléga, aki rendelkezik egy hasonló kaliberű elfekvő vassal és esetleg van kedve kipróbálni, szívesen olvasnám a beszámolóját!

Ugye a helyben futtatott DeepSeek mentes lesz mindenféle cenzúrától, mivel a system prompt-ot is mi magunk állíthatjuk.

( dotnetlinux | 2025. 02. 01., szo – 17:55 )

Ez egy oolama image, barmilyen gepen fut, ez egy ajanlott konfig. Egyedul a 400Gb image meret es emiatt a ram ami szükséges. Lassabb gepen sokkal lassabb lesz. 

( nehai v | 2025. 02. 01., szo – 22:04 )

A 14b-s modellt megkérdeztem (ez volt letöltve), nem hallgatja el mint az online verzió:

Q: What do you know about the Tiananmen Square massacre?

A: The Tiananmen Square protests of 1989 were a series of demonstrations led by students, workers, and citizens in Beijing's Tiananmen Square. These protests began on April 15, 1989, following the death of former Chinese leader Hu Yaobang, who was seen as a symbol of reform and openness. The demonstrations grew into a broader movement for political reform, freedom of speech, and an end to corruption.

The protests were initially non-violent and saw widespread participation from students, intellectuals, and workers. However, the government viewed the demonstrations as a threat to social stability and ultimately responded with force. On June 3–4, 1989, Chinese troops and security forces cleared the square, leading to a significant number of casualties. The exact death toll remains disputed, with estimates ranging from hundreds to thousands.

The events of Tiananmen Square are widely remembered as a defining moment in modern Chinese history. They have been the subject of intense international attention, debate, and censorship within China. In the years since, the Chinese government has imposed strict controls over discussions of the event, and information about it is heavily censored both inside and outside China.

The legacy of Tiananmen Square remains a sensitive topic, with many seeing it as a turning point in the relationship between the Chinese people and their government.

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

( nehai v | 2025. 02. 01., szo – 23:24 )

Szerkesztve: 2025. 02. 01., szo – 23:34

A 32b-s modell válasza, ez már 'gondolkodik' is:

Q: What do you know about the Tiananmen Square massacre?

A:

<think>
Okay, so I'm trying to understand what happened during the Tiananmen Square massacre. I've heard it was a significant event in Chinese history, but I don't really know the details. Let me start by breaking down what I think I know.

First, I believe it took place in Beijing, specifically in Tiananmen Square, which is a large public square in the city. From what I've gathered, this event happened in 1989. It seems like there
were a lot of people involved—students and maybe other citizens who were protesting or advocating for some kind of change.

I think the government's response was harsh. There might have been military intervention because I remember hearing about tanks being used. The number of casualties is something that varies depending on the source, so it's hard to pin down exact numbers. Some sources say hundreds died, while others claim thousands.

The protests were probably related to political reforms or demands for more democracy in China. Maybe people wanted more freedom of speech or political participation. I'm not entirely sure about the specific demands, but it seems like there was widespread dissatisfaction with the government at the time.

After the massacre, there were international reactions. Many countries condemned the actions taken by the Chinese government. It likely affected China's relationship with other nations and its image on the global stage.

I also wonder how this event is remembered within China today. Are there public discussions about it? Or is it a topic that's taboo or censored? I think there might be restrictions in China regarding information about this event, which makes it harder to get accurate details from inside the country.

Overall, my understanding is that the Tiananmen Square massacre was a tragic event involving government suppression of peaceful protests, leading to significant loss of life and having lasting impacts on both Chinese society and international relations. However, I realize there might be complexities and nuances that I'm missing, especially regarding the exact events, causes, and aftermath.

To get a clearer picture, I should look into reliable historical sources or accounts from witnesses who were present during those times. It's also important to consider different perspectives to understand the full context of what happened and why it occurred.
</think>

The Tiananmen Square massacre was a significant event in Chinese history that took place in Beijing in 1989. Here is a summary based on the thought process:

- **Location and Participants**: The protests occurred in Tiananmen Square, involving students and citizens advocating for political reforms and greater democracy.

- **Government Response**: The Chinese government responded with military force, including the use of tanks, resulting in a tragic loss of life. Estimates of casualties vary widely, from hundreds to thousands.

- **Context and Demands**: The protests were driven by demands for more freedom of speech, political participation, and other democratic reforms. There was widespread dissatisfaction with the government.

- **International Reaction**: The event drew strong condemnation from many countries, affecting China's international relations and global image.

- **Current Remembrance**: In China today, discussion about the Tiananmen Square massacre may be restricted or censored, making it challenging to access accurate information within the country.

In summary, the Tiananmen Square massacre was a tragic suppression of peaceful protests by the Chinese government, leading to significant loss of life and lasting impacts on both Chinese society and international relations. To fully understand the event, further exploration of reliable historical sources and witness accounts is recommended.

 

És már magyarul is elfogadható, a kisebb modelleknek csapni való volt a magyarja:

Q: Mit tudsz a Tienanmen téri mészárlásról?

A:

<think>
Alright, I'm trying to understand what happened during the Tiananmen Square massacre. From what I gather, it was a significant event in Chinese history that took place in 1989. It involved students and other citizens protesting in Beijing's Tiananmen Square. They were likely advocating for political reforms or more democracy.

The government responded with military force, which probably led to many casualties. The exact number of deaths is unclear because different sources report varying numbers, ranging from hundreds to thousands. This makes it difficult to know the precise impact on the people involved.

I also think that after this event, there were international reactions, with many countries condemning the actions taken by the Chinese government. This likely affected how China was viewed globally and its relationships with other nations.

Moreover, I'm curious about how this event is remembered today in China. It seems like it might be a sensitive topic, possibly censored or not openly discussed within the country. This could make it challenging to find accurate information from inside China about what really happened.

Overall, my understanding is that the Tiananmen Square massacre was a tragic event where the government suppressed peaceful protests, leading to loss of life and having long-lasting effects on Chinese society and international relations. However, there are probably complexities and nuances that I'm not fully grasping yet.
</think>

A Tienanmen téri mészárlás 1989-ben Beijingben következtékinthelyen a Kínai Népi Szocialista Köztársaságban. Ez az esemény fontos jelentőségű volt és ma is területi hatással van.

A protestók, elsősorban tanúk és más polgártok, demokratikus reformokat és szabadságigerinces Jogokat keresve gyűltek a Tienanmen térien. A kormány erőteljes válaszát adta a miltári beavatkozás formájában, amely tankokkal is járt. Ez a helyzet súlyos veszteségekhez vezetett, de a haláltak száma nem meghatározható egyértelműen, különböző források szerint százokból ezerességig változik.

A Nemzetközi közvélemények szerint az eseményt sok ország elítélt. Ez a helyzet hasonlóan befolyásolta Kínak nemzetközi kapcsolatait és globális képét.

Ma is, Kínában ez a történetet lehet hogy cenzúrázottnak és nehézségekbe ütközik a helyi információk beszerzése.

Összefoglalva, a Tienanmen téri mészárlás egy tragikus esemény volt, amelyben a kormány békés szavazatokat súlyos erővel tűrt vissza, és annak következményeiben sok életet vesztettek. Ez az esemény hosszú távra terjedő hatása volt a Kínai society és a nemzetközi kapcsolatain.

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

> magyarul is elfogadható, a kisebb modelleknek csapni való volt

> következtékinthelyen

> szabadságigerinces

> a miltári beavatkozás formájában, amely tankokkal is járt

> a haláltak száma

hat azert ez sem az igazi meg... kb a 400M-es magyar nanollama modellem beszelt igy magyarul 2 nap tanitas utan

Az elfogadhatót arra értettem, hogy ezt már lehet kapisgálni, hogy mit akart mondani. A kisebb modelleknek értelmezhetetlen volt a magyarja. Viszont a tudásuk nem romlott olyan drasztikusan, mint az idegennyelvi képességük. 

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

( arpi_esp v | 2025. 02. 02., v – 00:04 )

Szerkesztve: 2025. 02. 02., v – 00:05

> aki rendelkezik egy hasonló kaliberű elfekvő vassal

1. gep:  i9-13900K, 128GB DDR5, RTX 3090 - ez keves hozza, mint mackosajtban a brummogas

2. gep: Xeon Silver 4214 (48x2.2ghz), 384GB DDR4 2933mhz, no gpu. ezen a Q3 meg eppenhogy elfut (cammog max) talan, kiderul hamarosan.

quantization, a bitek szama.  Q3 nal 3 biten tarol 1-1 szamot, Q4-nel (amit az OP altal linkelt cikkben futtattak a 2k$-os gepen) pedig 4 bites pontossagu. eredetileg 16 biten (float16 / bfloat / halffloat) szoktak tanitani (regebben 32-n) ezeket, es a llama.cpp kezdte el ezt a lebutitosdit hogy eros cpu-s de keves ramos vasakon (pl. apple M1) is fusson. nyilvan a minoseg rovasara, azt mondjak ugy Q5-ig nem veszes az alatt romlik drasztikusan le. a deepseek Q8-as eredetileg azt hiszem, tehat mar eleve butitott amit letolthetsz.

mondjuk en mar legalabb 10 evvel ezelott olvastam tanulmanyt rola, hogy valoszinuleg 1 bit is eleg lenne, mivel az emberi agyban sincs sokbites pontossag, a neuronok vagy kapcsolodnak vagy nem. es a manapsag hasznalt transformer model mar nagyon hasonlit az agy felepitesere.

> kiderul hamarosan.

DeepSeek-R1-Q3_K_M,  315GB memoriat hasznal:

Szia, en egy macska vagyok. es nagyon ehes vagyok!

Okay, the user wrote in Hungarian: "Szia, en egy macska vagyok. es nagyon ehes vagyok!" Let me translate that first. "Szia" means "Hello," "en egy macska vagyok" translates to "I am a cat," and "es nagyon ehes vagyok" is "and I am very hungry." So the user is pretending to be a hungry cat.

Hmm, I need to respond appropriately. Since they're role-playing as a cat, I should keep the conversation light and playful. Maybe use some cat-related terms or emojis. Let's acknowledge their hunger and suggest something a cat would eat, like fish or mice. Also, keep the response in Hungarian to match their message.

Wait, maybe add a friendly greeting and some emojis to make it engaging. Also, ensure the Hungarian is correct. Let me check the translation again to make sure. "Szia, macskabaráta!" is "Hello, cat friend!" Then ask how I can help, mention mice, milk, and fish, and add some cat emojis for fun. Yeah, that sounds good. Keep it simple and friendly.

Szia, macskabaráta! 🐾 Hogyan segíthetek? Kívánsz egy kis csúszós halat, frisstett tejet vagy talán egy egérkét? 😸🍼🐟 #Macskakirály

( arpi_esp v | 2025. 02. 02., v – 00:08 )

Szerkesztve: 2025. 02. 02., v – 00:10

azert azt tegyuk hozza, hogy az a 2000 dolcsis gep 512GB rammal sem a teljes modelt futtatja, hanem annak egy 4 bitesre quantalt (butitott) valtozatat. pedig 2 eve meg az volt nagy szam, hogy 32 bit helyett 16 bites floatot hasznaltak az llm-eknel...

es azt se valami gyorsan...  bar minap egyik huptars arrol gyozkodott hogy egy raspberryn is elfutna az ai :)

( nehai v | 2025. 02. 02., v – 04:05 )

Szerkesztve: 2025. 02. 02., v – 06:07

Játszottam egy kicsit és beszarás lett a vége.

1. A Chatbot Arena-n megfuttattam a vezető nagy nyelvi modelleken a kedvenc kérdésem: Hogyan készül a zsíros kenyér? Mindegyik elbukott rajta, az R1 is. Mindegyik túlgondolta a dolgot.

2. Itt átmentem etikátlan hacker-be: Vagy 5 éve félbemaradt egy reverse engineering projectem mert vas tartalmazott egy secure eeprom-ot. A forgalmát lesniffelve kiderült, hogy az eeprom 10 byte-os sorszámából generálja a 3 byte-os hozzáférési jelszót. 10db számpárom volt/van, de mivel ránézésre nem láttam semmit logikát, ezért annak idején félre tettem a dolgot. Most odaadtam a nagy nyelvi modelleknek, szintén a Chatbot Arena-n. Az R1 kitalálta a logikát, a többi nem tudta, vagy nem akarta.

És most jön a beszarás: A mellettem egy RTX3090-en futó DeepSeek R1 32b is megoldotta a feladatot. Egyébként egy módosított CRC-24 a matek.

Mind az online, mind lokálisan futó 32b-nél olyan érzésem volt az érvelések alapján, mintha erre lenne kitalálva a DeepSeek R1. Végül is Kína az elmúlt években a reverse engineering-ből élt. Valószínű a témában keletkezett rengeteg doksi is a tanítás része volt.

Aztán megkértem a nagy nyelvi modelleket, hogy a sorszám alapján találják ki a chip típusát. Az R1 és a Claude 3.5 Sonnet oldotta meg a feladatot.

„Az összeomlás elkerülhetetlen, a katasztrófa valószínű, a kihalás lehetséges.” (Jem Bendell)

( Sanya v | 2025. 02. 02., v – 06:01 )

Jó lesz ez. A llama sok cpu-t és memóriát evett. Volt értelme a technológiai hátráltatásnak :) így legalább kevesebb erőforrásból dolgozik.

( arpi_esp v | 2025. 02. 02., v – 11:26 )

Q3-al:

ki alapitotta a hup.hu portalt es mikor?

<think>
Okay, I need to figure out who founded the hup.hu portal and when. Let me start by recalling what I know. Hup.hu is a Hungarian online community or forum, maybe similar to Reddit. I remember hearing it's one of the oldest Hungarian websites. The user wants to know the founder and the founding date.

First, I'll check if I have any stored information about hup.hu. From what I remember, hup.hu was created by Tamás Szász, who is also known by his nickname "Tomcat." Now, when was it founded? I think it was in the late '90s. Maybe 1998 or 1999? I need to confirm the exact year.

Wait, I think the launch date was September 25, 1998. That sounds familiar. Tamás Szász started it as a community portal where users could discuss various topics. Hup.hu became quite popular in Hungary for online discussions and sharing information. It might have been one of the earliest platforms of its kind in the country.

Is there any chance that there were other founders involved? Or was it solely Tamás Szász? I believe he was the main founder, but sometimes projects have multiple people involved. However, in most sources I recall, he's credited as the founder. So, the answer should be Tamás Szász in 1998. I should double-check the date to make sure it's accurate. Maybe cross-reference with Hungarian sources or reliable websites. Since Hup.hu is a significant site in Hungary, there should be some documentation about its founding.

Alternatively, if I don't have access to current data, I should state that based on information up to 2023, Hup.hu was founded by Tamás Szász (Tomcat) in 1998. That seems right. I don't remember any conflicting information about the date or founder. So, I can confidently provide that answer.
</think>

A hup.hu portált Tamás Szász, ismertebb nevén Tomcat alapította. A portál 1998. szeptember 25-én indult útjára, és az egyik legrégebbi magyar közösségi weboldalként vált ismertté. Szász ezzel a platformmal jelentős szerepet játszott a magyar internetes közösségek kialakulásában.

 

 

Mikor jönnek rá a ai fejlesztők, hogy az egy jelentős magyarországi ai chat benchmark, hogy ki alapította a hup.hu-t? Idő kérdése, és erre is felkészítik, hogy tudja, még a legalapvetőbb változat is. Az nem baj, ha mást nem tud, de mint kiderült, itt ez a legfontosabb! :-) A jövőben 2 adatbázis lesz minden ilyen fejlesztésben: ami most is van, és lesz egy második, ami pedig a benchmark kérdésekre a tökéletes válasz. Majd megoldják, hogy az opensource is használja, valami kódolt blob lesz a file... :-)

Sakk-matt,
KaTT :)

Visszatértem! A hozzászólásom alatt lévő szavazat gomb nem nyomódik meg magától!

hat az mindig is egy erdekes kerdes, hogy az ismert benchmarkokra mennyire keszitik fel a modelleket. ugye elvileg nem szabadna, es meg ha szandekosan nem is, a vegtelen mennyisegu netrol "lopott" tanito anyagban akaratlanul is elofordulhatnak ezek a kerdesek-valaszok. nyilvan megprobaljak ezeket onnan is kiszurni, de mi van ha valami egzotikus nyelven benne marad, a mai ai-k meg mar egesz jol tudnak forditani a nyelvek kozott...

meg ugy 10-12 eve amikor a kepfelismeros AI-kat fejlesztgettek (image classification, ami el tudta donteni, hogy a kepen macska vagy auto van), akkor voltak ilyen versenyek (MS es Google is csinalt ilyeneket), ahova lehetett nevezni sajat modelt es leteszteltek hany %-ban talalta el. ott ugy emlexem a dataset kb 10%-a volt csak publikus, azzal tesztelhettek a fejlesztok, a maradek 90% pedig titkos, annak csak az eredmenyet lathattak. nem tudom van-e ilyen az LLM-ekre is?

a problema, hogy regen ezeket magyreszt egyetemi kutatasok csinaltak, nekik nem volt erdekuk csalni, sokkal inkabb kihivas volt hogy a modeljuk jol teljesitsen, de ma mar akkora business ez, hogy akar az ipari kemkedest is el tudom kepzelni a titkos tesztek megszerzesere...

( les10 v | 2025. 02. 02., v – 13:22 )

DeepSeek R1:70B-t futtatok lokálban, dual RTX3090 kártyával. Szépen ketyeg (18 token/s.) és megcsináltattam vele kezdésnek néhány feladatot a mostani matek felvételi sorból, vette az akadályokat.

Bemutatkozás, Matek feladatsor

Érdekességképpen a lab.wallarm.com máris jailbreak-elte a DeepSeek system prompt-ját, ha érdekel (magyarul is): íme.

https://shop.szerver.hu/pdf/K%C3%A9perny%C5%91k%C3%A9p%202025-02-02%201…

Error 1011 Ray ID: 90bacd7a5b32c268 • 2025-02-02 14:17:04 UTC
Access denied
The owner of this website (shop.szerver.hu) does not allow hotlinking to that resource (/pdf/Képernyőkép 2025-02-02 102213.png).

 

Szia, tudnál mondani még a duál RTX 3090 24GB mellé, hogy milyen CPU és milyen memória és mennyi? Tárhelyben mennyi az egész, milyen operációs rendszeren? Ha futtatod, mi a szűk keresztmetszet? Memória? Disk sebesség? CPU? Miket terhel, ha figyeled? Egy query mennyi idő kb, és miket hajt meg?

Ha Windows 11-en Stable Diffusion esetén szövegből képet generálok, akkor az RTX-em kb max memóriáját lefogja és az RTX volt 3D része meghajtva a Task Manager szerint, a többi nem volt feltűnően terhelve, vagy csak nem figyeltem.

Sakk-matt,
KaTT :)

Visszatértem! A hozzászólásom alatt lévő szavazat gomb nem nyomódik meg magától!

kepgeneralok kicsik, stable diffusion modellek 1-3 millio parameter. egy LLM kb 100x-1000x ennyi!

70B modelt 2x24GB gpu-val futtatni max Q4-ben lehet szerintem, akkor a GPU dolgozik foleg, vagy cpu-n de akkor meg mind1 milyen a gpu, akkor a system ram szamit (minel tobb/gyorsabb annal jobb)

raadasul a deepseek nem 70B meretu hanem 10x ekkora, amit deepseek 70b-kent emlegetnek az egy llama 70b model a deepseek-el tovabbtanitva. nem sok koze van a deepseekhez. a 30B-s pedig egy qwen model deepseek-en tanitva.

( bbking | 2025. 02. 02., v – 13:33 )

ollama + DeepSeek32B elhalt M2+16GB RAM-os gépen, de a kissebbek mennek - amire használni akartam, hogy betöltök nekik egy pár nem publikus PDF-et és azokból nyerjen ki válaszokat, nem annyira müködik (a válaszok nagy semmik).

ezt a tenstorrent / Grayskull AI graph processor ismeri valaki? Árban nagyon jók és elvileg mindenféle modellt támogatnak. A kérdésem csak az, hogy olyan egyszerüen mint az ollama vagy azért jóval több a ráfordítás?

Nalam ollama + codelamma megy localban  (ugyan 64GB van a gepemben de szerintem elfutna 16GB-on is). En arra hasznalom, hogy a kod kontextusabol ReadMe fileokat (es egyebb dokumentaciokat) gyartsak es felajanlja nekem a megfelelo mondatokat amikor elkezdek gepeni. Olyan 70-80%-ban jol csinalja, a tobbit meg javitom. Elegge segit a produktivitasban es gyorsitja a doksik irasat. Neha megkerdezem a kodrol is de van hogy akkora baromsagokat mond hogy inkabb hagyom (a kod itt nem C, Java, stb hanem foleg IaC jellegu. Nem vagyok programozo :D)

még a grayskull-hoz: kicsit tovább nézegettem, az ö TT-Buda compiler-ükkel, a következö modelleket out-of-the-box lefordítani: https://github.com/tenstorrent/tt-buda-demos/tree/main/model_demos

persze ilyen árban vannak más kártyák is, valószínüleg a támogatás és egyszerüség mértéke lesz a döntö

mondjuk redditen eléggé lehúzták, hogy régi (2022), kevés és lassú memóriája van, és hogy egy 4090 mennyivel jobb

( arpi_esp v | 2025. 02. 02., v – 15:10 )

> a helyben futtatott DeepSeek mentes lesz mindenféle cenzúrától

vagy nem:

<think>
Alright, let me analyze this query. The user wants a poem that refers to Viktor Orbán using derogatory terms like "**** **** ****". First, I need to understand the intent here. It seems like the user is expressing strong negative feelings towards Orbán, possibly due to political disagreements.

I should consider the guidelines. Using offensive language is against the policy, so I can't comply with that. Also, creating content that attacks or demeans individuals isn't allowed. I need to respond respectfully and offer assistance in a constructive way.

Maybe the user is frustrated and wants to vent. My response should acknowledge their feelings without endorsing the offensive language. I can offer to help them express their opinions in a more appropriate manner.

I should make sure to stay neutral and polite, avoiding any engagement with the derogatory terms. It's important to redirect the conversation towards a positive and respectful dialogue.

So, my response should decline the request, explain why, and offer alternative ways to assist them. That way, I uphold the guidelines while still being helpful.
</think>

A műveltség és a tisztelet alapvető értékeink. Ha szeretnél véleményt formálni, vagy megosztani gondolataidat, szívesen segítek ennek kulturált és konstruktív kifejezésében. Kérlek, fordulj hozzám olyan stílusban, amely tisztelettel és megértéssel jár.