Sziasztok.
Sajátos célra, kisebb, 4-5 oldalas pdf fájlok átnyálazására beidomítottam egy CustomGPT-t.
Egy hét alatt eljutottam vele, hogy felismeri a stílusomat, aszerint nézi át a következő kézirat-adagomat. Több oldallal sajnso nem tudom terhelni, mert akkor elkezd hülyeségeket mondani, nem létező dolgokat "idéz", és arra tesz javaslatot.
Vannak ilyen célra használt tapasztalataitok?
Irtó jó lenne saját szerveren futtatni egy ilyet, de nyilván arra egy komoly géppark kellene.
- 592 megtekintés
Hozzászólások
"és hasonlók"-hoz: Ezt esetleg nézted már? https://www.langchain.com/
Támogatja a folyamatot, hogy:
1. beolvasd a doksit (különböző formátumban, különböző forrásokból).
2. Chunkokra tudja bontani a nagyobb doksit. (többféle módon is)
3. A beállított nyelvi modell segítségével vektorizálja (embeddingeli).
4. Integrálódik vektor adatbázissal, pl FAISS (facebook AI similarity search).
A dokumentum lekérdezésnél keresni tud a vektoros adatbázisból, és az AI segítségével csak a releváns részből ad választ (figyelembe véve a nyelvi modell kontextus limitjeit - szerintem Te valami ilyesmi kérdésbe futhattál bele).
Támogatja, hogy utasításokat, formátum struktúrákat, szerepeket adj hozzá automatikusan promthoz, tehát a neked megfelelő formában fogod a válaszokat visszakapni.
És rengeteg tutorial van hozzá, nodejs-sel, és pythonnal is tudod használni.
JAVA alatt a spring ai lehet hasonló (de nem próbáltam még ki, de itt a listámon): https://spring.io/projects/spring-ai/
- A hozzászóláshoz be kell jelentkezni
Még egy gondolat: a felhőben is támogatják már ezeket, pl az Azure AI szolgáltatásait érdemes lehet megnézni. Arról is rengeteg tutorial van. Hobbi célra lehet hogy ingyenesen is tudod használni (de nem tudom mik a free limitek).
- A hozzászóláshoz be kell jelentkezni
> Irtó jó lenne saját szerveren futtatni egy ilyet, de nyilván arra egy komoly géppark kellene.
igenyektol fugg, egy llama3 70b is eleg mar sokmindenre, es az elfut egy 96-128gb ramos desktop gepen is, bar nem lesz gyors.
deepseek meg jobb de ugye ahhoz mar vegtelen sok (de legalabb 512GB) memoria kell... azt mar desktop pc-vel nehez megoldani.
ha nincs szukseged a model sajat tudasara, eleg csak az altalad beadott pdf-ekbol dolgoznia, akkor egy kisebb model is bovel jo lehet. olyat kell keresni/futtatni ami elegge nagy contextet is tud, mert fontos hogy az osszes inputod es az outputod is beferjen egyszerre.
- A hozzászóláshoz be kell jelentkezni
Egy Mac Mini M4 Pro 48 GB memóriával nem jó/jobb opció Ollama-val futtatni a llama3 70b modelt? Az ollama.com azt írja, hogy 40GB a model, így be kellene férjen a memóriába.
A deepseek-r1 70b sem tűnik annyira vészesnek. A 671b már más kategória :}
Egy Open WebUI-t is beállítva hozzá, meg is van a teljes platform.
- A hozzászóláshoz be kell jelentkezni
Nem olvastam a commented, de pont a mac-et írtam. :) Nem is tudtam, hogy 48Gb-os is van belőle, azt hittem 32 a max.
- A hozzászóláshoz be kell jelentkezni
a llama modellek nem szerettek a quantizaciot, 8 biten meg elmegy de 48GB-al max 4-5 bitesen tudna futni, es kell meg memoria az OS-nek a contextnek stb is. a "deepseek 70b" az is egy llama model csak a nagy deepseek outputjaval trainelve.
raadasul a llamanak a contextje is eleg limitalt (2048 ha jol emlexek)
- A hozzászóláshoz be kell jelentkezni
96-128gb ramos desktop gepen is, bar nem lesz gyors.
CPU-val nagyon lassú az biztos.
De a 16Gb-os videókártya is kevés, egy nagyobb modell nem fér bele.
Érdemes lehet ezeket a nagyokat online használni.
A MAC-en gondolkodtam még el, ott a unified memóriával lehet akár 24Gb-od, vagy 32Gb-od, amit a videókártya elér, persze egy vagyonért (de ebből már egy vagyon a PC is, lehet hogy még olcsóbb is a mac). De ez sem lesz elég. :)
A modellek tényleg egyre kisebbek lesznek, próbálkoznak. És elérhetőek lesznek egyszer földi halandóknak is majd ilyen hardware-ek, amik direkt erre vannak. - Addig meg maradnak kisebb modellek localban.
- A hozzászóláshoz be kell jelentkezni
> CPU-val nagyon lassú az biztos.
minden relativ. nyilvan egy online ugyfelszolgalathoz docogos, de pdf-ek forditasahoz/osszefoglalasahoz nekem teljesen jo a 2 token/sec is, beadom a sok oldalnyi szoveget aztan 10-20 perc mulva kikopi a vegeredmenyt.
a mac jo otlet, akar egy mac studio m3/m4, azokat lehet mar akar 512gb memoriaval is venni, bar nem occo.
- A hozzászóláshoz be kell jelentkezni
Egy 4070 TI supert vettem (16Gb-ja van), hogy majd olyan AI alkalmazásokat csinálok, hogy csak na. :) És persze gyorsan kiderült, hogy a nagyobb modellekhez a 4090 is kevés lehet. (de ezt lehetett gondolni előre is).
Majd a nagyobbik gyerek addig könyörgött, hogy elcseréltem vele 4070 TI supert a 3060 TI videókártyájára amiben azt hiszem 12Gb van. :)
Majd a kisebbik gyerek könyörögte ki a 3060 TI-t, és az I7-es procimat, a 4060-én cserébe (8 Gb).
Így lett egy I5-ösöm, 4060-nal, amivel csak baj van, mert nem tökéletes linux alatt. Lehet egy AMD videókártyát kellett volna venni. :D
De a memóriát nem adtam, az 64 Gb. :)
- A hozzászóláshoz be kell jelentkezni
szerintem a gpu-s ai-zast otthoni korulmenyek kozott el kell felejteni, nem lehet ennyi memorias kartyakat venni emberi aron, foleg nem sok db-ot, es akkor meg az aramfogyasztasrol hutesrol stb nem is beszeltunk.
vagy berelni kell gpu clustert, vagy meg kell elegedni cpu-val, a mai procik azert nem olyan lassuak, foleg ddr5 rammal.
- A hozzászóláshoz be kell jelentkezni
- A hozzászóláshoz be kell jelentkezni