7.4 Dadansoddeg cynnyrch ac arbrofi

Trosolwg a chymhelliant

Dadansoddeg cynnyrch yw’r arfer o ddeall sut mae pobl yn defnyddio cynnyrch go iawn drwy gipio a dadansoddi eu hymddygiad: pa nodweddion y maent yn eu cyffwrdd, ble maent yn llwyddo, ble maent yn gadael, a beth sy’n eu cadw’n dod yn ôl. Arbrofi yw’r ddisgyblaeth o sefydlu achos ac effaith drwy redeg treialon a reolir, yn amlaf profion A/B (cymariaethau pen-wrth-ben ar hap o ddau amrywiad), fel eich bod yn barnu newidiadau cynnyrch yn ôl eu heffaith go iawn yn hytrach na barn neu reddf. Gyda’i gilydd maent yn symud penderfyniadau cynnyrch o “rydym yn meddwl” i “rydym yn gwybod,” neu o leiaf i “rydym wedi mesur.”

I dimau mawr mae’r arferion hyn yn benderfynol. Pan fo dwsinau o sgwadiau’n rhyddhau newidiadau i gynnyrch a ddefnyddir gan filiynau, mae reddf ddi-arweiniad yn cynhyrchu llif o newidiadau na all neb fesur eu heffaith net, ac mae’r llais uchaf yn ennill dadleuon y dylai data eu setlo. Mae mentrau’n defnyddio arbrofi i ddiogelu refeniw a throsi ar raddfa fawr, gan ddal newidiadau niweidiol cyn rhyddhad llawn. Mae gwasanaethau digidol llywodraeth yn defnyddio’r un dulliau’n gynyddol i wella cyfradd cymryd a chwblhau gwasanaethau hanfodol (ceisiadau budd-daliadau, cyflwyno treth, adnewyddu trwyddedau), lle mae gwelliant bach mewn cyfradd gwblhau’n trosi’n enillion mawr mewn canlyniadau dinasyddion a llwyth canolfan alwadau is.

Mae gwerth dadansoddeg cynnyrch yn dibynnu’n llwyr ar ansawdd offeryniaeth a thrylwyredd dadansoddi. Mae olrhain digwyddiadau blêr yn cynhyrchu data nad oes neb yn ymddiried ynddo. Mae arbrofion a redir yn wael yn cynhyrchu casgliadau hyderus ond ffug. Ac oherwydd bod y data hwn yn ymddygiadol ac yn aml yn bersonol, rhaid i chi ei gasglu mewn ffordd sy’n parchu preifatrwydd ac yn ymwybodol o ganiatâd, gofyniad cyfreithiol mewn llawer o awdurdodaethau a rhwymedigaeth foesegol ym mhobman. Mae’r bennod hon yn ymdrin ag offeryniaeth, y dadansoddiadau ymddygiadol craidd, arbrofi trylwyr, dewis metrigau sy’n bwysig, a gwneud y cyfan yn barchus.

Egwyddorion allweddol

Offerynwch yn fwriadol gyda chynllun olrhain wedi’i ddogfennu a thacsonomeg gyson.
Ffafriwch arbrofion a reolir dros farn ar gyfer cwestiynau achosol.
Mae trylwyredd ystadegol yn anfargeiniadwy; mae profion tan-bwerus neu wedi’u sbecian yn camarwain.
Angorwch ar fetrig seren-y-gogledd wedi’i glymu wrth werth go iawn, nid rhifau balchder.
Mesurwch gadw ac ymgysylltiad, nid caffael yn unig.
Casglwch y data ymddygiadol lleiaf sydd ei angen, gyda chaniatâd eglur.
Triniwch offeryniaeth fel cynnyrch gyda pherchnogion a gwiriadau ansawdd.
Mae canlyniad arbrawf negyddol neu wastad yn ddarganfyddiad gwerthfawr, nid yn fethiant.

Argymhellion

Offeryna gyda chynllun olrhain a thacsonomeg

Cyn ychwanegu digwyddiadau, dyluniwch gynllun olrhain: y digwyddiadau y byddwch yn eu cipio, eu priodweddau, confensiynau enwi, a’r cwestiynau y mae pob un yn eu hateb. Gorfodwch tacsonomeg gyson (cynllun enwi sefydlog ar gyfer digwyddiadau a phriodweddau) fel bod data’n aros yn ddadansoddadwy ar draws timau ac amser. Triniwch y cynllun olrhain fel sgema a lywodraethir: fersiynwch ef, adolygwch newidiadau, a dilyswch ddigwyddiadau yn ei erbyn, fel eich bod yn dal digwyddiadau camffurfiedig neu annisgwyl wrth gymryd i mewn yn hytrach na’u darganfod fel bylchau fisoedd yn ddiweddarach. Heb y ddisgyblaeth hon, mae data cynnyrch yn dod yn llanast anwybyddadwy o ddigwyddiadau anghyson, dyblyg, ac heb eu dogfennu.

Dadansoddi twndisau, garfannau, cadw, ac ymgysylltiad

Defnyddiwch dwndisau i weld ble mae defnyddwyr yn gadael mewn llifau allweddol ac i dargedu gwelliannau. Defnyddiwch ddadansoddiad garfan i gymharu grwpiau a ddiffinnir gan pryd y gwnaethant ymuno neu beth wnaethant, sy’n datgelu a yw newidiadau’n gwella ymddygiad go iawn dros amser. Mesurwch gadw (a yw defnyddwyr yn dod yn ôl) oherwydd bod caffael heb gadw’n fwced yn gollwng. Nodweddwch ymgysylltiad yn onest, gyda diffiniadau ystyrlon o ddefnyddiwr gweithredol yn hytrach na chyfrifon sy’n gwenieithio. Mae’r dadansoddiadau hyn, wedi’u seilio ar offeryniaeth lân, yn dweud wrthych beth sy’n digwydd go iawn yn y cynnyrch.

Rhedeg arbrofion trylwyr

Ar gyfer cwestiynau achosol, rhedwch arbrofion a reolir: neilltuwch ddefnyddwyr ar hap i amrywiadau a chymharu canlyniadau. Mae trylwyredd yn mynnu sawl disgyblaeth. Cyfrifwch y maint sampl a’r hyd sydd eu hangen ar gyfer pŵer ystadegol digonol cyn dechrau. Peidiwch â stopio’n gynnar dim ond oherwydd bod canlyniad yn edrych yn arwyddocaol: mae sbecian yn chwyddo positifau ffug. Rhag-ddiffiniwch eich prif fetrig a’ch hypothesis, fel eich bod yn osgoi pysgota am unrhyw ganlyniad arwyddocaol ar draws llawer o fetrigau. Gwiriwch fod hapddewis yn gadarn ac nad yw metrigau gwarchodfur (perfformiad, refeniw, cwynion) yn cael eu niweidio. Defnyddiwch blatfform arbrofi i safoni neilltuo, dadansoddi, a gwarchodfuriau, fel bod pob tîm yn rhedeg profion cadarn yn hytrach nag ailddyfeisio ystadegau’n wael.

Dewis metrig seren-y-gogledd ac osgoi metrigau balchder

Dewiswch un metrig seren-y-gogledd sy’n cipio’r gwerth craidd y mae eich cynnyrch yn ei gyflenwi i ddefnyddwyr, ac sy’n arwyddo llwyddiant go iawn pan fo’n tyfu, nid rhif balchder sy’n codi heb werth cyfatebol. Mae cyfanswm defnyddwyr cofrestredig, golygfeydd tudalen crai, a lawrlwythiadau cronnol yn fetrigau balchder clasurol: dim ond mynd i fyny y maent ac anaml y maent yn adlewyrchu iechyd. Ffafriwch fetrigau wedi’u clymu wrth werth a gyflenwir ac a gedwir, a chylchynwch y seren-y-gogledd â set fach o fetrigau mewnbwn y gall timau eu dylanwadu go iawn. Byddwch yn wyliadwrus rhag optimeiddio dirprwy mor galed nes eich bod yn niweidio’r nod go iawn.

Parchu preifatrwydd a chaniatâd

Mae data ymddygiadol yn ddata personol. Casglwch ddim ond yr hyn sydd ei angen arnoch ar gyfer diben diffiniedig, sicrhewch a pharchwch ganiatâd fel y mae’r gyfraith yn ei fynnu, a rhowch dryloywder a rheolaeth i ddefnyddwyr. Ffafriwch ddadansoddiad cyfansymol a ffugenwol lle mae’n ddigonol, lleihewch gadw, a chymhwyswch yr un llywodraethu, dosbarthiad, a rheolaethau mynediad ag unrhyw set ddata sensitif. Mae parchu preifatrwydd yn gwneud mwy na bodloni cyfundrefnau fel GDPR (Rheoliad Diogelu Data Cyffredinol yr UE): mae’n cynnal yr ymddiriedaeth defnyddiwr y mae’r cynnyrch yn dibynnu arni. Dyluniwch ddadansoddeg fel bod defnyddiwr sy’n gwrthod olrhain yn dal i gael cynnyrch sy’n gweithio.

Trin offeryniaeth ac arbrofion fel cynhyrchion

Rhowch berchennog i offeryniaeth sy’n gyfrifol am ei hansawdd, ei chwmpas, a’i dogfennaeth, a monitrwch am ddigwyddiadau wedi torri neu goll yn y ffordd rydych yn monitro piblinellau. Adeiladwch ddiwylliant arbrofi gyda phlatfform a rennir, adolygiad o ddyluniad arbrawf, ac ystorfa o ganlyniadau blaenorol fel bod y sefydliad yn dysgu’n gronnol yn hytrach nag ailadrodd profion ac anghofio canlyniadau.

Cymharu: manteision ac anfanteision

Dewis	Manteision	Anfanteision	Ffit gorau
Offeryniaeth drwm	Mewnwelediad ymddygiadol cyfoethog	Cost, dinoethiad preifatrwydd, sŵn	Cynhyrchion wedi’u gyrru gan ddata
Offeryniaeth leiaf	Rhad, risg preifatrwydd isel	Mannau dall, dadansoddiad gwan	Cynhyrchion cynnar neu risg isel
Arbrofi A/B	Sicrwydd achosol, yn diogelu metrigau	Angen traffig, amser, trylwyredd	Cynhyrchion traffig uchel
Rhyddhau-ac-arsylwi	Cyflym, dim trothwy traffig	Wedi’i gymysgu, dim achosiaeth	Newidiadau traffig isel neu adferadwy
Ffocws seren-y-gogledd	Aliniad, blaenoriaethau eglur	Gorsymleiddio, risg gamblo	Y rhan fwyaf o dimau cynnyrch
Llawer o KPIs	Cynildeb	Ffocws gwasgaredig, nodau gwrthdrawiadol	Sefydliadau dadansoddeg aeddfed

Y cyfaddawd canolog yw cyflymder yn erbyn sicrwydd, wedi’i gyfryngu gan draffig. Mae arbrofion yn rhoi sicrwydd achosol, ond mae angen digon o ddefnyddwyr a digon o amynedd i gyrraedd pŵer ystadegol. Ar gyfer nodweddion traffig isel neu newidiadau amlwg adferadwy, gall rhyddhau-ac-arsylwi disgybledig fod yn bragmatig. Mae offeryniaeth yn cyfnewid mewnwelediad am gost a dinoethiad preifatrwydd, felly casglwch yn bwrpasol yn hytrach na phentyrru. Ac mae metrig seren-y-gogledd yn cyfnewid cynildeb am aliniad: pwerus ar gyfer ffocws, peryglus os caiff ei gamblu, felly parwch ef â gwarchodfuriau.

Cwestiynau i’w trafod gyda’ch tîm

Pwy sy’n berchen ar eich cynllun olrhain, ac a ydych yn dilysu digwyddiadau yn ei erbyn wrth gymryd i mewn fel bod data camffurfiedig yn methu’n gyflym yn lle ymddangos fel bylchau fisoedd yn ddiweddarach? Mae’r bennod yn trin y cynllun olrhain fel sgema a lywodraethir: wedi’i fersiynu, ei adolygu, a’i ddilysu, gyda thacsonomeg gyson fel bod data’n aros yn ddadansoddadwy ar draws timau ac amser. Heb y ddisgyblaeth honno, mae data cynnyrch yn dirywio’n llanast anwybyddadwy o ddigwyddiadau anghyson, dyblyg, ac heb eu dogfennu, a dim ond pan geisiwch ateb cwestiwn y darganfyddwch y tyllau. I gynnyrch a gyffyrddir gan ddwsinau o sgwadiau a miliynau o ddefnyddwyr, mae cynllun olrhain heb berchennog yn golygu bod pob tîm yn enwi digwyddiadau’n wahanol ac nad oes dadansoddiad traws-dîm yn dal dŵr. Dewch â thystiolaeth: dewiswch dwndis allweddol a gwiriwch a yw ei ddigwyddiadau wedi’u dogfennu a’u henwi’n gyson. Os yw perchnogaeth yn aneglur, neilltuwch hi, a monitrwch am ddigwyddiadau wedi torri neu goll yn y ffordd rydych yn monitro piblinellau.
A yw eich holl dimau’n rhedeg arbrofion drwy blatfform a rennir gyda chyfrifiadau pŵer a gwarchodfuriau, neu a yw pob un yn ailddyfeisio ystadegau’n wael? Mae’r bennod yn blwmp bod trylwyredd yn anfargeiniadwy: cyfrifwch faint sampl a hyd ar gyfer pŵer ystadegol digonol cyn dechrau, rhag-ddiffiniwch y prif fetrig a’r hypothesis, peidiwch â sbecian a stopio’n gynnar, a gwyliwch fetrigau gwarchodfur fel perfformiad, refeniw, a chwynion. Mae platfform arbrofi a rennir yn safoni neilltuo, dadansoddi, a gwarchodfuriau fel bod pob tîm yn rhedeg profion cadarn yn hytrach na phob sgwad yn sbecian hyd nes bod rhywbeth yn edrych yn arwyddocaol. I gynhyrchion menter traffig uchel, gall un lansiad gwael a atalwyd (ailddyluniad a niweidiodd gadw’n dawel) dalu am y rhaglen gyfan. Dewch â signal: a yw timau ar hyn o bryd yn cyfrifo pŵer, neu’n stopio pan fo canlyniad yn edrych yn dda? Os mai’r ail yw, mae platfform cyffredin ac adolygiad dyluniad yn ateb.
Sut mae eich cynnyrch yn dal i weithio i ddefnyddiwr sy’n gwrthod olrhain, ac a ydych yn casglu dim ond y data ymddygiadol lleiaf ar gyfer diben diffiniedig? Mae’r bennod yn trin data ymddygiadol fel data personol: casglwch ddim ond yr hyn sydd angen diben diffiniedig, sicrhewch a pharchwch ganiatâd fel y mae’r gyfraith yn ei fynnu, lleihewch gadw, a chymhwyswch yr un dosbarthiad a rheolaethau mynediad ag unrhyw set ddata sensitif. Mae parchu hyn yn cynnal yr ymddiriedaeth defnyddiwr y mae’r cynnyrch yn dibynnu arni, ac o dan GDPR a chyfundrefnau tebyg mae’n ofyniad cyfreithiol, nid yn gwrteisi. Y pwysau cystadleuol yw’r ysfa i offeryna’n drwm ar gyfer mewnwelediad cyfoethocach, sy’n codi cost, sŵn, a dinoethiad preifatrwydd. Dewch â thystiolaeth: rhestrwch beth rydych yn ei gasglu a chysylltwch bob digwyddiad â chwestiwn y mae’n ei ateb, yna gwiriwch fod gwrthod olrhain yn dal i gynhyrchu cynnyrch sy’n gweithio. Os nad oes diben i rywfaint o gasglu neu ei fod yn torri’r profiad, torrwch ef, a dyluniwch ddadansoddeg i ddirywio’n rasol i ddefnyddwyr sy’n optio allan.
Pa fetrig seren-y-gogledd sengl sy’n cipio’r gwerth y mae eich cynnyrch yn ei gyflenwi, a sut ydych chi’n atal timau rhag gamblo’r dirprwy hyd nes bod y nod go iawn yn dioddef? Mae metrig seren-y-gogledd yn alinio llawer o dimau ar un diffiniad o lwyddiant, ac eto mae’r bennod yn rhybuddio y gall dirprwy a optimeiddir yn rhy galed niweidio’r nod roedd i fod i’w gynrychioli, a bod rhifau balchder fel cyfanswm defnyddwyr cofrestredig neu lawrlwythiadau cronnol byth ond yn dringo heb adlewyrchu iechyd. I sefydliad mawr lle mae dwsinau o sgwadiau’n dilyn eu targedau eu hunain, mae seren-y-gogledd aneglur neu y gellir ei gamblu’n cynhyrchu enillion lleol sy’n adio hyd at ddim gwelliant go iawn, neu waeth, niwed tawel na sylwa neb arno. Dewch â’r ymgeisydd seren-y-gogledd presennol, y set fach o fetrigau mewnbwn y gall timau eu dylanwadu go iawn, a’r gwarchodfuriau a fyddai’n dal gamblo, yna prawf-straenwch bob metrig a adroddir drwy ofyn a allai godi tra bo defnyddwyr yn waeth eu byd. Mewn lleoliadau menter a llywodraeth, lle gall metrig pennawd yrru cyllideb ac adrodd cyhoeddus, clymwch y seren-y-gogledd wrth ddiffiniad gwerth-a-gedwir neu ganlyniad-wedi’i-gwblhau fel na all neb ei chwyddo drwy ddilyn cofrestriadau neu gliciau nad ydynt byth yn trosi.
Ar gyfer nodweddion traffig isel, ble mae’r llinell onest rhwng rhyddhau-ac-arsylwi disgybledig ac arbrawf llawn a reolir, a phwy sy’n penderfynu? Mae arbrofion yn rhoi sicrwydd achosol, ond mae angen digon o ddefnyddwyr a digon o amynedd i gyrraedd pŵer ystadegol, ac mae gorfodi prawf tan-bwerus ar lif traffig tenau’n llosgi wythnosau i gynhyrchu canlyniad na all ganfod yr effaith y mae’n ei geisio. Y risg gystadleuol yw bod rhyddhau-ac-arsylwi wedi’i gymysgu ac nad yw’n profi dim am achos, felly mae ei drin fel cyfwerth ag arbrawf yn gadael i dimau hawlio enillion a oedd mewn gwirionedd yn dymhoroldeb neu newid cyd-ddigwyddiadol. Dewch â chyfaint traffig a throsi ar gyfer y llif dan sylw, yr effaith leiaf y gellir ei chanfod sy’n bwysig i chi, a gwrthdroadwyedd y newid, yna cytunwch ar reol: arbrofwch uwchben trothwy traffig, rhyddhewch-ac-arsylwch gyda gwarchodfuriau eglur oddi tano. I gynhyrchion menter sy’n diogelu refeniw ac i wasanaethau llywodraeth lle mae atchweliad yn niweidio dinasyddion, enwch pwy sy’n dal awdurdod i hepgor arbrawf, a mynnwch fod newidiadau adferadwy’n aros yn wirioneddol adferadwy fel y gellir tynnu rhyddhau-ac-arsylwi gwael yn gyflym.
A ydych chi’n cofnodi canlyniadau arbrawf negyddol a gwastad mewn ystorfa a rennir, neu a yw’r sefydliad yn parhau i ailddarganfod yr un pen marw? Mae’r bennod yn eglur mai canlyniad gwastad neu negyddol yw tystiolaeth werthfawr, nid methiant, ac eto heb ystorfa ganlyniadau chwiliadwy mae’r wers yn anweddu ac mae tîm arall yn ailredeg yr un prawf colledig flwyddyn yn ddiweddarach. I sefydliad mawr mae hyn yn cyfansymu, oherwydd dysgu cronnol yw’r elw cyfan ar ddiwylliant arbrofi, a dim ond os yw dyluniadau a chanlyniadau arbrawf wedi’u hysgrifennu i lawr lle bydd y tîm nesaf yn dod o hyd iddynt y mae’n cronni. Dewch â chyfrif yr arbrofion a redwyd y chwarter diwethaf, faint o ganlyniadau sydd wedi’u dogfennu a’u darganfod, ac a yw unrhyw un mewn gwirionedd yn gwirio’r ystorfa cyn dylunio prawf newydd. Mewn lleoliadau menter a llywodraeth, mae cofnod parhaol hefyd yn gwasanaethu archwiliad ac atebolrwydd, gan ddangos bod penderfyniad yn gorffwys ar dystiolaeth yn hytrach na barn a rhoi trywydd amddiffynadwy i adolygwyr pan gaiff newid sy’n wynebu’r cyhoedd ei gwestiynu.

Trwy lens sector

Cwmni newydd. Ysgrifennwch gynllun olrhain un-dudalen ar gyfer eich digwyddiadau actifadu a sesiwn gyntaf cyn ychwanegu unrhyw beth arall, fel bod y data cynharaf yn aros yn lân wrth i’r tîm dyfu. Neilltuwch brofion A/B go iawn ar gyfer eich llif cyfaint uchaf a defnyddiwch ryddhau-ac-arsylwi gofalus mewn mannau eraill, prynwch offeryn dadansoddeg ac arbrofi wedi’i westeio yn hytrach nag adeiladu un, a glynwch wrth un metrig seren-y-gogledd fel actifadu. Casglwch ddim ond y digwyddiadau sy’n ateb cwestiwn byw, fel nad ydych yn talu cost storio na risg preifatrwydd am ddata na fyddwch byth yn ei ddarllen.

Busnes bach. Heb ddadansoddwr pwrpasol a chyllideb dynn, pwyswch ar y ddadansoddeg sydd wedi’i hadeiladu i mewn i’r offer rydych eisoes yn eu rhedeg a thriniwch arbrofi fel ymarfer achlysurol, gwerth uchel yn hytrach na rhaglen sefydlog. Y dewis fel arfer yw prynu dros adeiladu: mae golwg twndis a garfan wedi’i mewnosod yn curo piblinell bwrpasol na allwch ei chynnal. Canolbwyntiwch y ychydig brofion rydych yn eu rhedeg ar yr un llif sy’n gyrru refeniw, a thrafodwch ganiatâd yn syml ac yn onest fel bod cwsmer sy’n gwrthod olrhain yn dal i gael cynnyrch sy’n gweithio.

Menter. Ar raddfa fawr ar draws llawer o dimau, llywodraethu yw’r broblem: cynllun olrhain wedi’i fersiynu a ddilyswyd wrth gymryd i mewn, platfform arbrofi a rennir sy’n safoni neilltuo, cyfrifiadau pŵer, a gwarchodfuriau, ac ystorfa ganlyniadau fel bod sgwadiau’n dysgu’n gronnol yn lle ailadrodd profion. Rhowch berchennog wedi’i enwi i offeryniaeth wedi’i fonitro fel piblinell, cytunwch ar un metrig seren-y-gogledd wedi’i gylchynu gan fewnbynnau y gellir eu dylanwadu, a chymhwyswch yr un dosbarthiad data a rheolaethau mynediad i ddata ymddygiadol ag unrhyw set ddata sensitif, gyda thrywyddau archwilio ar gyfer penderfyniadau lansio canlyniadol.

Llywodraeth. Mae rheolau caffael, tryloywder, ac atebolrwydd cyhoeddus yn llywio pob dewis. Casglwch y data ymddygiadol lleiaf ar gyfer diben diffiniedig, sicrhewch a pharchwch ganiatâd, a chyhoeddwch mewn iaith blaen beth rydych yn ei olrhain a pham, gan roi gwasanaeth sy’n gweithio i bobl os ydynt yn gwrthod. Rhedwch arbrofion a reolir ar eiriad a chynllun ffurflenni i godi cwblhad gwasanaethau hanfodol, cadwch gofnod wedi’i ddogfennu, amddiffynadwy o bob prawf ar gyfer archwiliad, a mynnwch fod unrhyw werthwr dadansoddeg yn datgelu ei drin data ac yn rhoi cludadwyedd fel eich bod yn osgoi clymu.

Enghreifftiau

Cwmni newydd. Ysgrifennodd rhaglen ddefnyddwyr fach gynllun olrhain byr, wedi’i ddogfennu ar gyfer ei digwyddiadau cofrestru a sesiwn gyntaf cyn ychwanegu unrhyw ddadansoddeg newydd, fel bod y data’n aros yn lân wrth i’r tîm dyfu. Dangosodd twndis fod y rhan fwyaf o ddefnyddwyr newydd yn gadael ar y cam gwirio cyfrif, a chododd prawf A/B syml ar eiriad cliriach gadw’r wythnos gyntaf. Gyda thraffig cymedrol, rhedodd y tîm arbrofion dim ond ar ei lifau cyfaint uchaf a defnyddiodd ryddhau-ac-arsylwi gofalus ar gyfer newidiadau llai, gan gadw actifadu fel ei fetrig seren-y-gogledd.

Menter. Mae gwasanaeth ffrydio tanysgrifiad yn offeryna cynllun olrhain a lywodraethir ac yn rhedeg pob newid ystyrlon drwy blatfform arbrofi gyda metrigau rhag-ddiffiniedig, cyfrifiadau pŵer, a gwarchodfuriau ar berfformiad chwarae a churn. Roedd llif sefydlu wedi’i ailddylunio’n edrych yn well mewn adolygiadau, ond dangosodd prawf a reolwyd ei fod yn lleihau cadw wythnos-un, felly gwrthdrodd y tîm ef cyn rhyddhad eang, achubiaeth werth llawer mwy na chost y platfform.

Llywodraeth. Mae asiantaeth gwasanaethau digidol yn offeryna ei llif cais budd-daliadau gyda chynllun olrhain sy’n parchu preifatrwydd ac yn ymwybodol o ganiatâd ac yn rhedeg arbrofion a reolir ar eiriad a chynllun ffurflenni. Datgelodd dadansoddiad twndis gam penodol lle roedd traean o’r ymgeiswyr yn gadael. Cynyddodd arbrawf ar arweiniad cliriach gwblhad yn sylweddol, gan leihau ceisiadau anghyflawn a chyfaint canolfan alwadau fel ei gilydd tra’n casglu dim ond y data ymddygiadol lleiaf sydd ei angen.

Achos busnes: cymhellion, ROI, a TCO

Mae ROI dadansoddeg cynnyrch ac arbrofi’n ymddangos yn uniongyrchol mewn canlyniadau: trosi, cadw, a chwblhad uwch, ac, yn hollbwysig, y gost a osgowyd o ryddhau newidiadau niweidiol. Mae arbrofi’n un o’r ychydig arferion sy’n meintioli ei werth ei hun, oherwydd mae pob prawf yn adrodd ar y codiad neu’r golled a atalodd. Mae offeryniaeth dda’n lluosi’r enillion ar bob penderfyniad cynnyrch drwy ddisodli dyfalu â thystiolaeth, ac mae metrig seren-y-gogledd yn alinio llawer o dimau ar yr un diffiniad o lwyddiant.

Mae cost mabwysiadu’n cynnwys offer dadansoddeg ac arbrofi, ymdrech peirianneg i offeryna’n dda, y sgil dadansoddol i redeg profion yn drylwyr, a gorbenion rhaglen preifatrwydd ar gyfer caniatâd. Pwyswch ef yn erbyn cost peidio â mabwysiadu: rhyddhau newidiadau nad yw eu heffeithiau’n hysbys, ennill dadleuon drwy hynafedd yn lle tystiolaeth, dilyn metrigau balchder sy’n gwenieithio tra bo’r cynnyrch yn aros yn ei unfan, a dinoethiad rheoliadol o gasglu data diofal. I’r arweinyddiaeth, y cynnig yw bod arbrofi’n troi datblygu cynnyrch yn broses fesuradwy, hunan-gywiro, a bod y lansiad gwael cyntaf a atalwyd yn aml yn talu am y rhaglen gyfan.

Gwrth-batrymau a pheryglon

Ychwanegu digwyddiadau heb gynllun olrhain, gan gynhyrchu data anghyson, anwybyddadwy.
Sbecian ar arbrofion a stopio pan fyddant yn edrych yn arwyddocaol, gan chwyddo positifau ffug.
Profi llawer o fetrigau a dathlu pa bynnag sy’n troi’n arwyddocaol ar hap.
Rhedeg profion tan-bwerus na allant ganfod yr effaith y maent yn ei cheisio.
Optimeiddio metrigau balchder sy’n codi heb adlewyrchu gwerth go iawn.
Gamblo metrig dirprwy mor galed nes bod y nod gwirioneddol yn dioddef.
Pentyrru data ymddygiadol heb ganiatâd na diben diffiniedig.
Anghofio cofnodi canlyniadau negyddol, fel bod y sefydliad yn ailadrodd profion a fethodd.

Model aeddfedrwydd

Cychwyn. Mae offeryniaeth yn brin neu’n anghyson, gwneir penderfyniadau drwy farn a hynafedd, ni redir arbrofion, ac adroddir metrigau balchder fel cyfanswm cofrestriadau. Trinnir caniatâd yn ddiofal.
Datblygu. Olrheinir rhai digwyddiadau, ond mae’r tacsonomeg yn llithro rhwng timau. Rhedir profion A/B achlysurol, ad hoc heb gyfrifiadau pŵer, edrychir ar dwndisau a chadw’n anffurfiol, a chynigir metrig seren-y-gogledd ond nid yw wedi’i fewnosod eto.
Safoni. Mae cynllun olrhain a lywodraethir a thacsonomeg gyson wedi’u dogfennu, eu fersiynu, a’u dilysu wrth gymryd i mewn ar draws pob tîm. Dadansoddir twndisau, garfannau, a chadw’n arferol, rhedir arbrofion ar blatfform a rennir gyda metrigau rhag-ddiffiniedig, cyfrifiadau pŵer, a gwarchodfuriau, a thrinnir preifatrwydd a chaniatâd yn briodol ar draws y sefydliad.
Rheoli. Mesurir yr arfer yn erbyn llinellau sylfaen: olrheinir cwmpas offeryniaeth a chyfraddau gwall ansawdd digwyddiadau, adroddir cyflymder arbrawf a’r gyfran o lansiadau a giatiwyd gan brawf, delir toriadau gwarchodfur a sbecian yn awtomatig, a monitrir y metrig seren-y-gogledd a’i fetrigau mewnbwn gyda throthwyon lladd eglur. Archwilir ansawdd data a chydymffurfiaeth preifatrwydd ar gadence sefydlog yn hytrach na’u tybio.
Cerddorfeiddio. Arbrofi yw’r diofyn ar gyfer pob newid ystyrlon, mae offeryniaeth yn berchen ac wedi’i monitro fel piblinell, ac mae ystorfa ganlyniadau a rennir sy’n cynnwys canlyniadau negyddol a gwastad yn gadael i’r sefydliad ddysgu’n gronnol ac ymddeol penau marw. Mae dadansoddeg wedi’i integreiddio â chynllunio cynnyrch a risg, yn parchu preifatrwydd drwy ddyluniad, ac mae set y metrigau’n cael ei hailgwmpasu’n barhaus wrth i’r cynnyrch, y farchnad, a rheoliadau newid.

Syniadau i’w trafod

Beth yw metrig seren-y-gogledd gwirioneddol eich cynnyrch, ac a yw pawb yn cytuno arno?
Pa rai o’ch metrigau a adroddir sy’n rhifau balchder na wnânt ond codi?
A yw eich timau’n cyfrifo pŵer ystadegol cyn rhedeg arbrofion, neu’n sbecian a stopio?
Ble mae gan eich offeryniaeth fannau dall sy’n cuddio poen defnyddiwr?
Sut ydych chi’n cadw dadansoddeg yn parchu preifatrwydd tra’n dal i ddysgu’r hyn sydd angen i chi?
Ar gyfer nodweddion traffig isel, pryd mae rhyddhau-ac-arsylwi’n dderbyniol yn erbyn arbrawf llawn?

Prif negeseuon

Offerynwch yn fwriadol gyda chynllun olrhain a lywodraethir a thacsonomeg gyson.
Dadansoddwch dwndisau, garfannau, cadw, ac ymgysylltiad, nid caffael yn unig.
Rhedwch arbrofion trylwyr: cyfrifiadau pŵer, metrigau rhag-ddiffiniedig, dim sbecian.
Angorwch ar fetrig seren-y-gogledd wedi’i glymu wrth werth go iawn a gwarchodwch yn erbyn metrigau balchder.
Casglwch y data ymddygiadol lleiaf gyda chaniatâd eglur a llywodraethu cryf.
Triniwch offeryniaeth fel cynnyrch ac adeiladwch ddiwylliant arbrofi cronnol.
Mae canlyniad arbrawf gwastad neu negyddol yn dystiolaeth werthfawr, nid yn fethiant.

Cyfeiriadau a darllen pellach

Ron Kohavi, Diane Tang, and Ya Xu, “Trustworthy Online Controlled Experiments.”
Alistair Croll and Benjamin Yoskovitz, “Lean Analytics.”
Eric Ries, “The Lean Startup.”
Avinash Kaushik, “Web Analytics 2.0.”
Georgi Georgiev, “Statistical Methods in Online A/B Testing.”
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR).
Douglas W. Hubbard, “How to Measure Anything.”