A/B tesztelés - hogyan?

Sziasztok!

Eljött az idő, hogy egyik webes szolgáltatásunkat újraírjuk. Felmerült igény a normális A/B tesztelés lehetőségére. Ok, jogos követelmény, a jelenlegi kézzel tákolós megoldást jó lenne hanyagolni, és ha már rewrite akkor legyen a papírforma szerint. Viszont mi a papírforma, industry standard manapság?

A stack nagyvonalakban (témával releváns része): kubernetes, nginx, php backend (symfony), js front-end (next.js).

Elvárás:

  • minél kevesebb tákolás
  • kész admin felület product owner/managereknek, vagy legalább valami alap amire összerakhatunk egy admin felületet
  • A/B/n komponens teszt, split redirect teszt, esetleg MVT teszt

Gyors google keresés és eszmefuttatás utáni ötletek:

  • Az A és B variáció két különálló deployment, amikre a kubernetes loadbalancer osztja a forgalmat bizonyos súlyozással. Nem kell foglalkozni az elosztással ami előny lehet, ugyanakkor ez hátrány is lehet ha célcsoportspecifikus a teszt. Nem másztam bele, de problémás lehet a kubernetes setup és automatizáció. Hasonló megoldás lenne tisztán nginx routolással, de a vége ugyanaz. Itt a konverziószámítást is házilag kell összerakni. Ahogy ezt most elolvastam igencsak tákolós megoldás szaga van :D
  • Találtam néhány react A/B tesztelős package-et, amiknek nagy része évek óta elhagyatott és nem sok információ van róluk. Ha van használható, shoot!
  • Van kismillió A/B, split test, szolgáltatás, fizetnék is érte ha tényleg megéri. Az ismertetőikben csillivilli, szuper, de, hogy a gyakorlatban hogyan is működik az nem mindig tiszta. Az, hogy egy szkripten keresztül megváltoztathatom egy felirat színét még kevés az üdvösséghez.Google optimize például szimpatikusnak tűnik, első ránézésre. Tud mindent ami kellhet, a/b/n, split, mvt teszt és még ingyenes is.

Szívesen meghallgatok minden tanácsot, véleményt. Különösen a tapasztalatokra vagyok kíváncsi. Ki mit használ? Mi vált be?

Előre is köszönöm!

Hozzászólások

Nem ugy van hogyha valaki A-hoz kerult, akkor bizonyos ideig mindig azt kapja?

A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

Megoszlanak a vélemények. A session idejére mindenképpen csak egy verziót kell, hogy kapjon. Később akár kaphat B-t is ha úgy kívánja meg a projekt. Ahogy már írták is, elvileg megoldható nginx ingress sticky sessionnel. Viszont célcsoportra szűrés bajos lehet ilyen megoldással.

Szerkesztve: 2020. 02. 06., cs – 08:28

Sose ertettem, hogy egy AB tesztelesen mi a kihivas. Mindig megcsinaltam jol - elsore es hozzaadtam a tracking eventhez a session tipusat, hogy A vagy B.

Hihetetlen szamomra, hogy vannak startupok szazasaval lassan, amik A-B tesztelesbol elnek.

Komolyan, annyira nevetsegesen egyszeru csuklomozdulat implementalni. Nem ertem miert van ezzel tele az internet ugy, mintha barmi kihivas lenne benne.