Magyar nyelvű text szövegek feldolgozásához milyen nyílt forráskódú frameworköt érdemes használni?
Talán már nem kell nulláról kezdeni a fejlesztést 2022-ben.
- 401 megtekintés
Hozzászólások
Mi a cél a feldolgozáskor?
10-féle lény van:
-- aki ismeri a bináris számrendszert,
-- és amelyik nem.
- A hozzászóláshoz be kell jelentkezni
Chatbot elsősorban
Másodlagos emberi személy felismerése ha már folyt beszélgetés vele korábban.
- A hozzászóláshoz be kell jelentkezni
chatbot neuralis haloval? hat max LSTM-el talan. CNN-hez a rovid par szavas uzenetek nem jok.
de a magyar nyelv osszetettsege miatt nem hiszem hogy ez egyszeruen megvalosithato, meg angollal is gyerekcipoben jar.
- A hozzászóláshoz be kell jelentkezni
fw leginkabb tensorflow/keras... de a modelt neked kell osszeraknod, bar nem tul nehez, CNN+maxpool vagy LSTM halo, esetleg ezek kombinacioja. arxiv-on eleg sok pdf van NN szoveg elemzesrol kulonbozo megkozelitesben.
de a neheze ugyis a szovegbol szamokka (numpy array) "konvertalas" lesz, ehhez celszeru a word2vec vagy valami hasonlo word embedding model, de sajnos magyar nyelvre nem nagyon elerhetok ilyenek, csak wikipedias es facebookos talan, de a keves minta miatt azok nem tul jok. en rengeteg idot toltottem sajat w2v model tanitassal a spamszurohoz, azt szivesen odaadom, de nem biztos hogy megfelelo ahhoz amire neked kell. a magyar nyelv kulonosen nehez a ragozasok es az ekezetek miatt.
- A hozzászóláshoz be kell jelentkezni
Köszi szépen! Szakirodalomból tudsz ajánlani valami jó cikket vagy könyvet?
- A hozzászóláshoz be kell jelentkezni
Léteznek olyan (akár open source) chatbot-ok melyekben van NLP. Én azokat kezdeném nézegetni.
- A hozzászóláshoz be kell jelentkezni
Nem vagyok teljesen topon NLP vonalon, de en BERT kornyeken neznek korul. A https://hlt.bme.hu/hu/resources/hubert eleg jol mukodott nekem magyar szoveg kalszifikaciora. Talan hasznalhato valahogy chatbot-ra is, de nem vagyok benne biztos.
- A hozzászóláshoz be kell jelentkezni
Szsvsz az alapokat meg tudod csinalni (gyors kereses eredmenye: https://medium.com/geekculture/simple-chatbot-using-bert-and-pytorch-pa…), a legnagyobb munka a tanulo adatok elkeszitese lesz.
- A hozzászóláshoz be kell jelentkezni
> a legnagyobb munka a tanulo adatok elkeszitese lesz.
Meg találni viszonylag nem túl balfasz embereket, akik tanítják. :))
Debian - The "What?!" starts not!
http://nyizsa.blogspot.com
- A hozzászóláshoz be kell jelentkezni
itt is van egy pelda chatbotra:
https://towardsdatascience.com/how-to-build-your-own-chatbot-using-deep…
de ebben is azt neztem hogy nagyon keves a minta, ahhoz hogy jol mukodjon, sok 100 de inkabb 1000 patternt fel kell vinni kezzel.
amugy a text classification szerintem eleg messze van a chatbottol, nagyon mas megkozelites...
- A hozzászóláshoz be kell jelentkezni
Altalaban NLP-hez spaCy es annak magyaritasa a HuSpaCy*:https://github.com/huspacy/huspacy, chatbotokhoz RASA-t ajanlok.
Erdemes lehet meg itt is szetnezni: https://github.com/oroszgy/awesome-hungarian-nlp (*)
---
*Ezen sorok szerzoje, a fenti eszkozok alkotoja is :)
- A hozzászóláshoz be kell jelentkezni