- aaron blogja
- A hozzászóláshoz be kell jelentkezni
- 838 megtekintés
Hozzászólások
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Fut a dolog szépen, bár az i3-as gépemen 8GB memóriával erősen feszegeti a határokat.
Az alábbi szösszenet 1 óra 35 percet igényelt:
"Create C program which print "Hello World" to std out and exit with code 10.
```
#include <stdio.h>
#include <stdlib.h>
int main(void) {
printf("Hello World\n");
return 10;
}
```
Save this as a file called "hello_world.c" and then use the following commands to build and run it:
```
gcc -o hello_world hello_world.c
./hello_world
```
This will compile the program using the GCC compiler, create an executable named "hello_world", and then execu
te that file. The output should be "Hello World" followed by a newline character, and then the program will ex
it with code 10 (which can be seen in the shell or as a return code from the shell).
To simplify this process for
future"
Feltételezem, egy kisebb modell, memóriába cachelve sokat dobna az életérzésen. Esetleg, tipp, hogy melyik az a 1-2GB körüli modell amivel elmegy?
Másik kérdés, van-e ugyanilyen generikus processzorra fordítható grafikai AI?
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Nekem 2-3 perc egy tipikus válasz, nagyon lassú, de kibírható.
1-2 GB körüli modellek tuti vannak a huggingface-en, de azok persze butábbak: https://discuss.huggingface.co/t/smallest-pretrained-model/5495
> Másik kérdés, van-e ugyanilyen generikus processzorra fordítható grafikai AI?
Ilyenről nem tudok, de jó lenne persze.
- A hozzászóláshoz be kell jelentkezni
CodeLlama 7B előre tanított modelljeit néztem, azok 3-5GB között vannak. Megnézem, az ramdiskbe felrakva mennyit dob a sebességen.
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Ramdisk nélkül, SSD-ről futtatva:
[2023-08-29T15:43:12+02:00] ./main -m ../codellama-7b.Q4_K_M.gguf -i -f yourprompt.txt
Create C program which print "Hello World" to std out and exit with code 10.
*
*/
#include <stdio.h>
#include <stdlib.h>
int main(int argc, const char** argv) {
printf("Hello world\n");
exit(10);
}
/*
Sample execution is below:
$ ./hello_world
Hello world
*/
[2023-08-29T15:45:14+02:00]
Ramdiskről futtatva:
[2023-08-29T17:18:12+02:00] ./main -m /media/valami2/codellama-7b.Q4_K_M.gguf -i -f yourprompt.txt
Create C program which print "Hello World" to std out and exit with code 10.
\end{blockquote}
I'm completely new to this language and don't really understand what they mean by that. So far I have tried many things, including:
\begin{code}
#include<stdio.h>
int main(void) {
printf("Hello World");
return 10;
}
\end{code}
But this doesn't work at all! The program just exits with code `139`. How do I solve this?
Comment: Please check the exit status of your process, you will probably find that you are getting an exit value 139 from `printf` which is typically a segmentation fault. See https://stackoverflow.com/questions/1780599 for examples.
Comment: You want to do `printf("Hello World\n");`. The `\n` tells the output stream to flush (print) and then exit. You can also use the newline character directly in
[2023-08-29T17:19:25+02:00]
A ramdisk érezhetően javítja a futást, még úgy is, hogy elveszi az erőforrást a LLAMA-tól.
Érdekes, hogy többször egymás után futtatva, hogyan változnak a válaszok, ugyanarra a promptra. Szintén érdekes, hogy az eőforrás monitoron látszik, mikor fut félre a gondolatmenete.
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Köszi, a ramdisk jó ötlet, átmásolom az egészet a /tmp-re, s kész :)
- A hozzászóláshoz be kell jelentkezni
Nálam viszont nem gyorsított a dolog, valószínű, hogy az nvme ssd nem szűk keresztmetszet.
- A hozzászóláshoz be kell jelentkezni
Igen. Valószínűleg, az én 10+ éves gépem erősen még az "olcsó PC"-nek is a legalja.
Ami kérdés lehet, hogy vajon normál nvme elérésnél és kellően sok memória esetében, a kernel hogyan gyorsítótárazza a modell filet? Simán előfordulhat, hogy bepakolja a memóriába az egészet még a futás elején és aztán csókolom.
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Igen, ezt elvileg beteszi a RAM-ba:
https://huggingface.co/TheBloke/WizardCoder-Python-34B-V1.0-GGUF - most ezzel fogok próbálkozni.
"Max RAM required" az egyenesen arányos a modell fájl méretével
A laptopban van 64 GB RAM, az asztali gépen ez nem tudom rendesen gyűrni... :)
Az olcsó PC-t az NVIDIA kártyák millió forintos árához képest írtam. 64 GB RAM is csak < 100.000 Ft, aprópénz az AI-képes GPU-khoz képest.
- A hozzászóláshoz be kell jelentkezni
https://www.amazon.de/-/en/NVIDIA-A100-Module-80GB-HBM2/dp/B09DQ17B3X/r… - 18.000 euró... :(
- A hozzászóláshoz be kell jelentkezni
4. generációs i5 28 GB ram 3-4 perc egy hasonló válasz. Újra kell pasztáznom hétvégén, mert úgy veszem észre mikor eléri a 100 a fokot a cpu akkor áll meg a szöveg generálása is. Ilyenkor akár egy percig is áll a cursor.
- A hozzászóláshoz be kell jelentkezni
Most hívott a tüzép, mehetek a megrendelt építőanyagért, akár biciklivel is eltologathnám 463 körben, de inkább bérelek egy kisteherautót...
Mi értelme van nyekegtetni a CPU-t ilyen feladatokkal?
Ha tartós rendszert építesz és okos csapatot nevelsz, akkor száz kiadásban sem érheti baj; ha csak a gépekre hagyatkozol, akkor egyszer jól jársz, máskor rosszul; de ha sem a rendszer nem bírja a terhet, sem a csapat nem tanul a hibákból, akkor minden egyes kiadás kockázat.
- A hozzászóláshoz be kell jelentkezni
Ugyanazért, amiért én is talicskával hordom haza az építőanyagot a sarkon lévő tüzépről. Mert nincs kocsim és nincs pénzem teherautóra, viszont kell a fürdőkád beépítés.
"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "
- A hozzászóláshoz be kell jelentkezni
Néhány modell kimondottan gyorsan is el tud futni kellően erős CPU-n. Órákig generáltatni tényleg csak szenvedés.
Csomó mindent meg lehet érteni a generatív LLM-ek természetéből ezeket próbálgatva. Tanulok, tanulunk.
- A hozzászóláshoz be kell jelentkezni