spamszűrés - első eredmény

"(hogy kell rendesen link beilleszteni ide?)"

[code] 

[/code] közé. Valahogy így:

/*
 * Main.java
 *
 * Created on 2007. mĂĄjus 4., 18:10
 *
 * To change this template, choose Tools | Template Manager
 * and open the template in the editor.
 */

package spam;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.TreeMap;

/**
 *
 * @author tyson
 */

...
...

--
trey @ gépház

ha szerepel a levélben a "Return-Path:" kifejelzés akkor ham

Erdekes spameket kaphatsz, nalam pl. egy 1071 levelbol allo spam mintaban 1072x szerepel a 'Return-Path'. En a helyedben leellenoriznem (grep -c ...), hogy valoban igaz-e az a feltetelezes, hogy a spam-ek egyikeben sem szerepel a Return-Path...

Ez a relevans szo dolog sem az igazi, mert ha egy szo/token 100x szerepel a spam-ek kozott, de 2x a ham-ekben, az attol meg nyilvan spamre jellemzo token. Azt meg foleg nem ertem, hogyan fordulhatott elo az, hogy te bar csak a 'spam-only' tokenek eseteben minosited spamnek a levelet, es megis 60-75% fals pozitiv hibad van a relevans szavak alapjan...

Ha ezt sikerult megoldani, akkor a tokenekre bontast is lehet egy kicsit szofisztikaltabban vegezni, arrol nem is beszelve, hogy erdemes token parokat is kepezni a jobb pontossag erdekeben. En azt mondanam, adj egy eselyt valamelyik igazi statisztikai (mert a tied nem az) modszert alkalmazo spamszuronek :-)

ASK Me No Questions, I'll Tell You No Lies

Megvan az eredmeny, ami eleg erdekes lett.

2x2 kort mentem, es minden esetben a test.zip leveleit vizsgaltam (a test.class-ban levo eredmenyt vettem 100.00%-nak):

I. a train.zip leveleivel tanitva
---------------------------------

A) csak egytagu tokeneket kepezve:

spam: 6619/7445=88.90%
ham: 1545/1555=99.35%
total: 8164/9000=90.71%

B) token parokat is kepezve:

spam: 6616/7445=88.86%
ham: 1542/1555=99.16%
total: 8158/9000=90.64%

II. a test.zip leveleivel tanitva
---------------------------------

A) csak sima tokeneket kepezve:

spam: 7374/7445=99.04%
ham: 1545/1555=99.35%
total: 8919/9000=99.10%

B) token parokat is kepezve:

spam: 7425/7445=99.73%
ham: 1544/1555=99.29%
total: 8969/9000=99.65%

Az eredmenybol megallapithato, hogy a train.zip leveleivel tanitva:

- nem befolyasolja az eredmenyt, hogy kepezunk-e token parokat, vagy sem, egy csomo spam (~11%) mindket esetben atcsuszott
- a fals pozitivok aranyara nem volt hatassal.

Egeszen dramai volt az elteres, amikor a test.zip leveleivel tanitottam, a fals pozitivok aranya ugyanakkora volt, mint az elobb, azonban sokkal tobb spamet megfogott, csak 1% csuszott at, token parok kepzese nelkul, mig a token parok hasznalataval csak 0.27%, az osszesitett pontossag (ham+spam) pedig elerte a statisztikai szuroknel megszokott 99.5% feletti erteket.

A train.zip ill. test.zip levelhalmazokkal valo tanitas kozotti eredmeny a spam felismeres aranyaban ter el, vagy 40x pontossabb az utobbi megkozelites, ami azzal a pozitiv haszonnal is jart, hogy a token adatbazis sokkal kisebb es kevesebb rekordot tartalmaz. Elobbi esetben 1,4M rekord 62MB meretben, mig utobbi esetben 173k rekord 7,4MB meretben.

Btw. a felhasznalt spamszuro a clapf volt.

ASK Me No Questions, I'll Tell You No Lies