Feléből a gyökét

Megjegyzés: Fontos, hogy a célközönség véletlenszerűen legyen felosztva. Ez azért kell, hogy az emberek típusainak számunkra ismeretlen halmazának eloszlását megfelelő arányban célozzuk és mintavételezzük. A véletlen kiválasztás garantálja ezt a nagy számok törvényének matematikai tételével. Ez könnyen megtehető, ha véletlenszerűen szortírozzuk szét a két fajta szöveget a levlistánk címei között. Például egyszerű uniform eloszlást használva:

( rand < 0.5 ? email type 1 : email type 2 )

Mindkét kampányra jönnek visszajelzések és ezekből a pozitívakat vizsgáljuk. Például az egyikre 11 konverzió lett, a másikra pedig 37.

Gondolhatnánk, hogy a 37 db azt mutatja, hogy az a kampány ennyivel sikeresebb. Csakhogy ez nem biztos hogy így van. Ugyanis rengeteg hatás folyásolja be az emberek döntését. Például aznap mit evett vagy hogy álltak a csillagok. És a sok hatás eredője mindig erősen véletlenszerű. Ez utóbbi azért van, mert a kombinációk szorzódnak (minden eseményhez szabadon kombinálódhat a többi, ezért nem összeadunk hanem szorzunk), a szorzás pedig exponenciálisan elrobbanó, és így az eredmény erősen véletlenszerű. Tehát a véletlennek erős a hatása. De vajon ezt hogyan tudjuk megkülönböztetni a marketing anyagok különbségével okozott hatástól?

Rövid válaszom a megoldásra:

A példában megadott 11 és 37 összege 48. Tehát a halmazom 48 értéket tartalmaz, ebből 11 a kisebbik halmaz. Keresem azt, hogy elég nagy-e a különbség. Legyen X = 11, N pedig az összegük = 48.

Ha ( N / 2 - N^0.5 ) értékénél kisebb X, akkor bizonyítékunk van.

Ha ( N / 2 - N^0.5 * 1.5 ) értékénél kisebb X, akkor erős bizonyítékunk van. Ennyi.

Hosszabb válaszom:

Mire van tehát szükségünk?

Bizonyítékra. Vagyis minél erősebb megbízhatóságra annak eldöntéséhez, hogy van-e akkora különbség, hogy kizárhassuk azt, hogy a hatás véletlenszerűségből jön. Ehhez valószínűséget kell számolnunk.

Ha elég kicsi az esély a véletlenszerűségre, akkor a fordítottjára elég nagy. Vagyis arra, hogy valós a hatás. Tehát a marketing kampányok közti különbségek okozták ténylegesen az eredményt az emberek visszajelzéseinek különbségében. Vagyis tényleg jobban preferálják a másik kampányt. Vagyis tényleg jobb.

Ettől kezdve biztosabb a döntésünk, hogy melyik szöveget alkalmazzuk. Ha nem szignifikáns az eredmény, akkor nagyobb mintavételezés kell, vagy pedig a szövegen módosítsunk az erősebb hatáshoz.

Mennyi az annyi?

2 és 3 szigma. Ezek a normál eloszlásnál a szórás többszörösei. Sajnos hosszú lenne ebbe belemenni, pedig érdekes. Legyen elég annyi, hogy ha a véletlenszerűségre az esély 4.5%-nál kisebb, akkor szignifikáns az eredmény. Vagyis van bizonyíték. Ha 0.27%-nál kisebb, akkor erősen szignifikáns. Ezt a két valószínűséget az adja, ha a normál eloszlás görbéje alatti területet integráljuk, akkor a középértéktől balra és jobbra 2 szórást véve 95.4% területet kapunk. Vagyis 4.5% marad felül.

Egyszerűbben fogalmazva, ha megmérjük a kutyák magasságát (mely egyébként normál eloszlású), akkor a kutyák 95.4%-a átlag plusz mínusz 2 szórásba fognak esni. Illetve 99.7%-uk 3 szóráson belül lesz. Ez matematikailag és empirikusan is megmutatható. OK.

Hogy kell a választ kiszámolni?

Kumulatív binomiális eloszlással, ahol "p" értéke 0.5. Ez ahhoz kell, hogy a hipotézis tesztet ahhoz viszonyítsuk, hogy vajon mekkora az esély arra, hogy ha 50% a valószínűsége a különböző típusok előfordulásának (vagyis nincs különbség köztük), akkor mégis a fenti értékek jöjjenek ki? Képlet:

( N alatt X ) * p^X * ( 1 - p )^( N - X )

https://en.wikipedia.org/wiki/Binomial_distribution#Cumulative_distribu…

Miért kell kumulatív?

Mert nem csak egyetlen kombinációra vagyunk kíváncsiak, hanem arra, hogy legalább ennyire extrém esetnek mekkora az esélye. Ha az ennyire extrém és ennél még extrémebb esetek összességének is elég kicsi az esélye, akkor mindenre megválaszoltunk.

Excel képlet:

=BINOM.DIST( X, N, 0.5, 1 )

Viszont mivel van benne faktoriális, illetve kis és nagy számok hatványra emelését is végezzük, ezért komplikált a számítása és nagy vagy túl kicsi számoknál könnyen alul vagy felülcsorduláshoz vezethet. Ezért folyamatos, normál eloszlás görbével közelíthetjük a diszkrét binomiális értékeket. Illetve ha weboldalon akarjátok közvetlen lekódolni például Javascript-ben, vagy egyéb ok miatt kell a könnyítés, akkor már nagy segítség az egyszerűsítés.

Egyenlet levezetése a normál közelítésekkel:

Átlag = np

Variancia = np ( 1 - p )

tehát a Szórás ez utóbbi gyöke:

( np ( 1 - p ))^0.5

Ebből Z score-t számolva:

Z = ( Átlag - X ) / Szórás

Ezzel nem csinálunk mást, mint sztenderdizáljuk a normál eloszlást és azt vizsgáljuk, hogy mennyire extrém az X értéke. A szórás többszörösével mutatja ezt. Behelyettesítve úgy, hogy Z = 2 legyen a szignifikanciához:

2 = ( np - x ) / ( np ( 1 - p ))^0.5

p értéke 0.5, mert azt feltételezzük, hogy nincs különbség a halmazok között, tehát:

2 = ( n/2 - x ) / ( n/2/2 )^0.5

2 = ( n/2 - x ) / ( n/4 )^0.5

2 = ( n/2 - x ) / ( n^0.5 / 2 )

Átrendezzük:

2 * ( n^0.5 / 2 ) = n/2 - x

n^0.5 = n/2 - x

x = n/2 - n^0.5

Tehát ha eléggé véletlenszerű mintavételnél kapunk egy halmazt, mely tartalmaz egy kisebb halmazt, akkor nagyon egyszerű annak eldöntése, hogy eléggé szignifikáns különbséget látunk-e, és így van-e valós különbség (hatás).

Máshol is szabadon alkalmazható. Például egy blog férfi és női olvasóinak arányánál. Vagy társadalmi nézetek arányánál egy populációban. Vagy jobb és balkezesek arányánál. Stb.

Példa:

Vajon ha 30-an vannak az iskola egyik osztályában, akkor vagy a jobb vagy a balkezesek száma maximum mekkora lehet ahhoz, hogy "valós" különbséget lássunk?

30 / 2 - 30 gyöke = 15 - 5.4 = 9.6

Tehát 9 vagy kevesebb embernek kell másik kezesnek lennie 30-as létszámnál. Nézzük meg száznál, ez fejben is megy:

100 / 2 - 100^0.5 = 50 - 10 = 40

Természetesen a statisztikai (hipotézis) teszteknél sok és fontos dolognak kell megfelelni. De sok esetben nincs lehetőség, idő és pénz a feltételek megfelelő szintű megismeréséhez. Például hogy normál eloszlásból származnak-e az értékek, illetve egymástól független módon jöttek-e létre stb. De ettől függetlenül is használható a gyakorlatban, mellyel mégis egy magasabb szintű döntést tudunk hozni.