Gépi tanulásról néhány írás

Talán érdekel valaki, innen, hogy szoktam Gépi tanulásról viszonylag rendszeresen írni. A legutóbbi bejegyzések egyike például a Konvolúciós Neurális Hálózatokról szól:

Hozzászólások

Erdekes lett. Kis typo: rétek

Amugy meg mielott a neuralis halokat ujra felkaptak volna, volt egy erdekes algoritmus: fogsz egy matrixot, amiben 1 van par helyen, es egy masikat, ami mondjuk az "A" betu kepe. Ha a kettot konvolucioba hozod, az egyesek helyen A betuk lesznek. Megforditva: fogsz egy scannelt kepet, dekonvolucioba hozod az "A" betuvel, es egyeshez kozeli ertekeket kapsz ahol A betu volt, nullahoz kozelit ahol nem, plusz mindenfele kozte levo zajt. De ez a pelda is mutatja, hogy miert jo a konvolucio mintafelismeresre.

When you tear out a man's tongue, you are not proving him a liar, you're only telling the world that you fear what he might say. -George R.R. Martin

Ja, meg egy dolog, amit elfelejtettem irni, es talan az irasba is beleferne: Fourier transzformaltak szorzata a szorzat Fourier transzformaltja. Miert jo ez? Mert a konvolucio ordo(nagyonszar) (*). Ha a kepet Fourier transzformalod (egyszer), a kerneleket szinten (azok jellemzoen kicsik raadasul), szorzas viszonylag gyors, inverz Fourier kell csak a szorzatokon kulon-kulon (ha nem megy tovabb ujabb konvolucios retegbe, mert akkor ugyis az fog kelleni), de megfeleloen valasztva a mereteket jo az FFT, ami szinten gyors. Szoval megfelelo implementacio mellett a szamitas sebessege egeszen kellemesse tud valni. Marpedig ez fontos, ha minimum tizezres nagysagrendben vannak mintak (tobb jobb), az alatt meg ugyse kezd ilyesmibe az ember. Szoval a sebesseg fontos.

(*) o(dimenziok szorzata) ha jol tippelem

When you tear out a man's tongue, you are not proving him a liar, you're only telling the world that you fear what he might say. -George R.R. Martin

Sajnos nincs, legalabbis nem elerheto. Az, hogy a Fourier-k szorzata a konvoluciojuk transzformaltja (eredeti hsz-ben elirtam, de kulonben nem hoztam volna elo) meg valami egyetemi eloadasrol ismeros, azt hiszem bizonyitottuk is 1D-ben, de ugy emlekszem a definiciojukbol tobbe-kevesbe kijon. A konvoluciot ugye egymasba agyazott for ciklusokkal lehet a legegyszerubben megoldani, ebbol kijon a szamitas sebessege is. De ha apalnak igaza van abban, hogy a gyakorlatban nem hasznaljak, akkor hagyhatod.

When you tear out a man's tongue, you are not proving him a liar, you're only telling the world that you fear what he might say. -George R.R. Martin

Méééég!!!

"Maradt még 2 kB-om. Teszek bele egy TCP-IP stacket és egy bootlogót. "