Szóval elindultunk ezen a bizonyos versenyen. A cél, mint már említettem valami olyasmi volna, hogy adott egy személy név és az azokhoz tartozó yahoo találatok (első 200). Ezeket az oldalakat kéne klaszterezni, annak függvényében, hogy az azonos nevű, de különböző emberekhez tartozó dokumentumokat csoportosítottuk. Továbbá szükséges volt 16 különböző életrajzi jellemző kinyerése az adott dokumentumokból, majd ezeket aggregáltuk a klaszterek szerint.
A verseny kiértékelés végül botrányba fullad. Több mint egy hónap (!!!) csúszás után megkaptuk az eredményeket. A kiértékelés úgy működött, hogy annotátorokkal kézzel klaszterezték az egy névhez tartozó találatokat. Persze nem a szokványos módon, hanem csak két emberre, (personA és personB) amennyiben egy dokumentum egyikhez se tartozott azt egyszerűen csak egy other klaszterbe sorolták. Kicsit megkérdőjelezhető ez klaszterezési eljárás szerintem. A lényeg, hogy vették a beküldéseket, és annak a klaszternek a jellemzőit értékelték ki, amelyek legjobban hasonlított az gold-annotation klaszterezéhez. A hasonlóságot recall és F mérték szerint adták meg. Az eredmények a következők voltak (RGAI a mi rendszerünk):
F mérték alapú klaszterezés:
System precision recall f-measure
RGAI_AE_3 0,1188 0,1268 0,1090
Intelius_AE_UNOFFICIAL 0,0933 0,1494 0,0973
RGAI_AE_2 0,0706 0,0824 0,0653
BYU 0,0617 0,0853 0,0642
RGAI_AE_1 0,0599 0,0779 0,0565
WOLVES_AE_1 0,1025 0,0468 0,0552
RGAI_AE_4 0,0478 0,0799 0,0536
RGAI_AE_5 0,0506 0,0588 0,0454
WOLVES_AE_2 0,0485 0,0396 0,0380
