7.4 Uchanganuzi wa bidhaa na majaribio

Muhtasari na msukumo

Uchanganuzi wa bidhaa ni mazoea ya kuelewa jinsi watu wanavyotumia bidhaa kweli kwa kunasa na kuchambua tabia zao: vipengele wanavyogusa, mahali wanaposhinda, mahali wanapoacha, na kinachowarudisha. Majaribio ni nidhamu ya kuanzisha sababu na athari kwa kuendesha majaribio yanayodhibitiwa, mara nyingi zaidi majaribio ya A/B (ulinganisho wa nasibu wa moja kwa moja wa matoleo mawili), ili uhukumu mabadiliko ya bidhaa kwa athari yake halisi badala ya maoni au hisia. Pamoja yanahamisha maamuzi ya bidhaa kutoka “tunadhani” hadi “tunajua,” au angalau hadi “tulipima.”

Kwa timu kubwa, mazoea haya ni ya kuamua. Vikundi kadhaa vinaposafirisha mabadiliko kwa bidhaa inayotumiwa na mamilioni, hisia zisizoongozwa huzalisha mkondo wa mabadiliko ambayo athari yake halisi hakuna anayeweza kuipima, na sauti kubwa zaidi inashinda mabishano ambayo data ingeyatatua. Mashirika hutumia majaribio kulinda mapato na ubadilishaji kwa ukubwa, kunasa mabadiliko yenye madhara kabla ya usambazaji kamili. Huduma za kidijitali za serikali zinazidi kutumia mbinu zilezile kuboresha upokeaji na ukamilishaji wa huduma muhimu (maombi ya manufaa, kuwasilisha kodi, kufanya upya leseni), ambapo uboreshaji mdogo katika kiwango cha ukamilishaji hutafsiri kuwa faida kubwa kwa matokeo ya raia na mzigo mdogo wa kituo cha simu.

Thamani ya uchanganuzi wa bidhaa inategemea kabisa ubora wa vifaa vya kupima na ukali wa uchambuzi. Ufuatiliaji wa matukio wa uzembe huzalisha data ambayo hakuna anayeiamini. Majaribio yaliyoendeshwa vibaya huzalisha hitimisho zenye imani lakini za uongo. Na kwa kuwa data hii ni ya kitabia na mara nyingi ya kibinafsi, lazima uikusanye kwa njia inayoheshimu faragha na kuzingatia ridhaa, sharti la kisheria katika mamlaka nyingi na wajibu wa kimaadili kila mahali. Sura hii inashughulikia vifaa vya kupima, uchambuzi wa msingi wa kitabia, majaribio makali, kuchagua vipimo vinavyojalisha, na kufanya yote kwa heshima.

Kanuni kuu

Weka vifaa vya kupima kwa makusudi kwa mpango wa ufuatiliaji ulioandikwa na uainishaji thabiti.
Pendelea majaribio yanayodhibitiwa kuliko maoni kwa maswali ya sababu.
Ukali wa takwimu hauwezi kujadiliwa; majaribio yasiyo na nguvu ya kutosha au yaliyochungulia hupotosha.
Nanga kwenye kipimo cha nyota ya kaskazini kilichofungwa na thamani halisi, si namba za kujisifu.
Pima ubakizaji na ushirikishi, si upataji tu.
Kusanya data ya kitabia ya kiwango cha chini kinachohitajika, kwa ridhaa wazi.
Chukulia vifaa vya kupima kama bidhaa yenye wamiliki na ukaguzi wa ubora.
Matokeo hasi au ya gorofa ya jaribio ni matokeo ya thamani, si kushindwa.

Mapendekezo

Weka vifaa vya kupima kwa mpango wa ufuatiliaji na uainishaji

Kabla ya kuongeza matukio, sanifu mpango wa ufuatiliaji: matukio utakayonasa, sifa zake, kanuni za majina, na maswali ambayo kila moja linajibu. Tekeleza uainishaji thabiti (mpango thabiti wa kutaja matukio na sifa) ili data ibaki inachambulika kuvuka timu na muda. Chukulia mpango wa ufuatiliaji kama skima iliyotawaliwa: iwekee matoleo, pitia mabadiliko, na uthibitishe matukio dhidi yake, ili unase matukio yaliyoharibika au yasiyotarajiwa wakati wa kuingiza badala ya kuyagundua kama mapengo miezi baadaye. Bila nidhamu hii, data ya bidhaa inakuwa fujo isiyoweza kutumika ya matukio yasiyo thabiti, yaliyorudiwa, na yasiyoandikwa.

Changanua funeli, vikundi, ubakizaji, na ushirikishi

Tumia funeli kuona mahali watumiaji wanapoacha katika mtiririko muhimu na kulenga maboresho. Tumia uchambuzi wa vikundi kulinganisha makundi yaliyofafanuliwa kwa walipojiunga au walichofanya, jambo linalofichua kama mabadiliko yanaboresha tabia kweli kwa muda. Pima ubakizaji (je, watumiaji wanarudi) kwa sababu upataji bila ubakizaji ni ndoo inayovuja. Elezea ushirikishi kwa uaminifu, kwa fasili zenye maana za mtumiaji hai badala ya hesabu zinazobembeleza. Uchambuzi huu, ukiwa na msingi kwenye vifaa safi vya kupima, unakuambia kinachotokea kweli kwenye bidhaa.

Endesha majaribio makali

Kwa maswali ya sababu, endesha majaribio yanayodhibitiwa: gawa watumiaji kwa nasibu kwa matoleo na linganisha matokeo. Ukali unahitaji nidhamu kadhaa. Kokotoa ukubwa wa sampuli na muda unaohitajika kwa nguvu ya kitakwimu ya kutosha kabla ya kuanza. Usisimamishe mapema kwa sababu tu matokeo yanaonekana ya maana: kuchungulia huongeza chanya za uongo. Fafanua kipimo chako kikuu na dhana mapema, ili uepuke kuvua matokeo yoyote ya maana kuvuka vipimo vingi. Kagua kwamba ugawaji wa nasibu ni sahihi na kwamba vipimo vya ulinzi (utendaji, mapato, malalamiko) havidhuriwi. Tumia jukwaa la majaribio kusawazisha ugawaji, uchambuzi, na ulinzi, ili kila timu iendeshe majaribio sahihi badala ya kubuni takwimu upya vibaya.

Chagua kipimo cha nyota ya kaskazini na uepuke vipimo vya kujisifu

Chagua kipimo kimoja cha nyota ya kaskazini kinachonasa thamani ya msingi ambayo bidhaa yako inatoa kwa watumiaji, na kinachoashiria mafanikio halisi kinapokua, si namba ya kujisifu inayopanda bila thamani inayolingana. Jumla ya watumiaji waliosajiliwa, mitazamo ghafi ya kurasa, na vipakuzi vilivyojumlishwa ni vipimo vya kawaida vya kujisifu: vinapanda tu na mara chache vinaakisi afya. Pendelea vipimo vilivyofungwa na thamani iliyotolewa na kubakizwa, na uzungushe nyota ya kaskazini na seti ndogo ya vipimo vya ingizo ambavyo timu zinaweza kuathiri kweli. Jihadhari kuboresha kibadala kwa nguvu kiasi cha kuharibu lengo halisi.

Heshimu faragha na ridhaa

Data ya kitabia ni data binafsi. Kusanya tu unachohitaji kwa madhumuni yaliyofafanuliwa, pata na heshimu ridhaa kama sheria inavyohitaji, na uwape watumiaji uwazi na udhibiti. Pendelea uchambuzi wa jumla na uliotumia majina bandia pale unapotosha, punguza uhifadhi, na utumie utawala, uainishaji, na vidhibiti vya ufikiaji vilevile kama seti yoyote nyeti ya data. Kuheshimu faragha hufanya zaidi ya kutimiza tawala kama GDPR (Kanuni ya Jumla ya Ulinzi wa Data ya EU): kunadumisha uaminifu wa mtumiaji ambao bidhaa inautegemea. Sanifu uchanganuzi ili mtumiaji anayekataa ufuatiliaji bado apate bidhaa inayofanya kazi.

Chukulia vifaa vya kupima na majaribio kama bidhaa

Mpe vifaa vya kupima mmiliki anayewajibika kwa ubora, ufikiaji, na nyaraka zake, na ufuatilie matukio yaliyovunjika au yaliyokosekana jinsi unavyofuatilia mabomba. Jenga utamaduni wa majaribio wenye jukwaa la pamoja, mapitio ya usanifu wa majaribio, na hifadhi ya matokeo ya zamani ili shirika lijifunze kwa kujilimbikiza badala ya kurudia majaribio na kusahau matokeo.

Mabadilishano: faida na hasara

Chaguo	Faida	Hasara	Inafaa zaidi
Vifaa vizito vya kupima	Ufahamu tajiri wa kitabia	Gharama, mfiduo wa faragha, kelele	Bidhaa zinazoendeshwa na data
Vifaa vidogo vya kupima	Nafuu, hatari ndogo ya faragha	Maeneo vipofu, uchambuzi dhaifu	Bidhaa changa au za hatari ndogo
Majaribio ya A/B	Uhakika wa sababu, hulinda vipimo	Inahitaji trafiki, muda, ukali	Bidhaa zenye trafiki ya juu
Safirisha-na-angalia	Haraka, hakuna kizingiti cha trafiki	Imechanganywa, hakuna sababu	Mabadiliko ya trafiki ndogo au yanayorekebishika
Kulenga nyota ya kaskazini	Mwelekeo, vipaumbele wazi	Hurahisisha kupita kiasi, hatari ya kuchezewa	Timu nyingi za bidhaa
KPI nyingi	Nuances	Umakini uliotawanyika, malengo yanayopingana	Mashirika ya uchanganuzi yaliyokomaa

Mabadilishano ya msingi ni kasi dhidi ya uhakika, yanayosuluhishwa na trafiki. Majaribio hutoa uhakika wa sababu, lakini yanahitaji watumiaji wa kutosha na uvumilivu wa kutosha kufikia nguvu ya kitakwimu. Kwa vipengele vya trafiki ndogo au mabadiliko yanayorekebishika wazi, safirisha-na-angalia yenye nidhamu inaweza kuwa ya kiutendaji. Vifaa vya kupima hubadilisha ufahamu dhidi ya gharama na mfiduo wa faragha, kwa hiyo kusanya kwa makusudi badala ya kuhodhi. Na kipimo cha nyota ya kaskazini hubadilisha nuances kwa mwelekeo: chenye nguvu kwa umakini, hatari kikichezewa, kwa hiyo kioanishe na vizuizi.

Maswali ya kujadili na timu yako

Nani anamiliki mpango wenu wa ufuatiliaji, na mnathibitisha matukio dhidi yake wakati wa kuingiza ili data iliyoharibika ishindwe haraka badala ya kujitokeza kama mapengo miezi baadaye? Sura inachukulia mpango wa ufuatiliaji kama skima iliyotawaliwa: yenye matoleo, iliyopitiwa, na kuthibitishwa, na uainishaji thabiti ili data ibaki inachambulika kuvuka timu na muda. Bila nidhamu hiyo, data ya bidhaa inashuka kuwa fujo isiyoweza kutumika ya matukio yasiyo thabiti, yaliyorudiwa, na yasiyoandikwa, na mnagundua mashimo mnapojaribu kujibu swali. Kwa bidhaa inayoguswa na vikundi kadhaa na mamilioni ya watumiaji, mpango wa ufuatiliaji usio na mmiliki unamaanisha kila timu inataja matukio tofauti na hakuna uchambuzi wa kuvuka timu unaoshikilia. Leta ushahidi: chagua funeli moja muhimu na uangalie kama matukio yake yameandikwa na kutajwa kwa uthabiti. Umiliki ukiwa si wazi, uteue, na ufuatilie matukio yaliyovunjika au yaliyokosekana jinsi mnavyofuatilia mabomba.
Timu zenu zote zinaendesha majaribio kupitia jukwaa la pamoja lenye hesabu za nguvu na vizuizi, au kila moja inabuni takwimu upya vibaya? Sura iko wazi kwamba ukali hauwezi kujadiliwa: kokotoa ukubwa wa sampuli na muda kwa nguvu ya kitakwimu ya kutosha kabla ya kuanza, fafanua kipimo kikuu na dhana mapema, usichungulie na kusimamisha mapema, na utazame vipimo vya ulinzi kama utendaji, mapato, na malalamiko. Jukwaa la pamoja la majaribio husawazisha ugawaji, uchambuzi, na vizuizi ili kila timu iendeshe majaribio sahihi badala ya kila kikundi kuchungulia hadi kitu kionekane cha maana. Kwa bidhaa za mashirika zenye trafiki ya juu, uzinduzi mmoja mbaya uliozuiwa (usanifu upya uliodhuru ubakizaji kimyakimya) unaweza kulipia programu nzima. Leta ishara: timu sasa zinakokotoa nguvu, au zinasimama matokeo yanapoonekana mazuri? Likiwa la mwisho, jukwaa la pamoja na mapitio ya usanifu ndiyo suluhisho.
Bidhaa yenu inafanyaje kazi kwa mtumiaji anayekataa ufuatiliaji, na je, mnakusanya data ya kitabia ya kiwango cha chini kwa madhumuni yaliyofafanuliwa? Sura inachukulia data ya kitabia kama data binafsi: kusanya tu madhumuni yaliyofafanuliwa yanayohitaji, pata na heshimu ridhaa kama sheria inavyohitaji, punguza uhifadhi, na utumie uainishaji na vidhibiti vya ufikiaji vilevile kama seti yoyote nyeti ya data. Kuheshimu hili kunadumisha uaminifu wa mtumiaji ambao bidhaa inautegemea, na chini ya GDPR na tawala zinazofanana ni sharti la kisheria, si adabu. Shinikizo linaloshindana ni hamu ya kuweka vifaa vingi vya kupima kwa ufahamu tajiri zaidi, ambayo huongeza gharama, kelele, na mfiduo wa faragha. Leta ushahidi: orodhesha mnachokusanya na ufunge kila tukio na swali linalojibu, kisha uangalie kwamba kukataa ufuatiliaji bado kunazalisha bidhaa inayofanya kazi. Ukusanyaji fulani ukiwa hauna madhumuni au unavunja uzoefu, ukate, na usanifu uchanganuzi kushuka kwa neema kwa watumiaji wanaojitoa.
Kipimo kipi kimoja cha nyota ya kaskazini kinanasa thamani ambayo bidhaa yenu inatoa, na mnazuiaje timu kucheza na kibadala hadi lengo halisi liteseke? Kipimo cha nyota ya kaskazini kinaoanisha timu nyingi kwenye fasili moja ya mafanikio, hata hivyo sura inaonya kwamba kibadala kilichoboreshwa kupita kiasi kinaweza kuharibu lengo ilichokusudiwa kuwakilisha, na kwamba namba za kujisifu kama jumla ya watumiaji waliosajiliwa au vipakuzi vilivyojumlishwa vinapanda tu bila kuakisi afya. Kwa shirika kubwa ambapo vikundi kadhaa kila kimoja kinafukuzia malengo yake, nyota ya kaskazini isiyo wazi au inayoweza kuchezewa huzalisha ushindi wa ndani unaojumlisha hakuna uboreshaji halisi, au mbaya zaidi, madhara ya kimya ambayo hakuna anayeyaona. Leta mgombea wa sasa wa nyota ya kaskazini, seti ndogo ya vipimo vya ingizo ambavyo timu zinaweza kuathiri kweli, na vizuizi vitakavyonasa kuchezewa, kisha jaribu kila kipimo kilichoripotiwa kwa kuuliza kama kingeweza kupanda huku watumiaji wakiwa katika hali mbaya zaidi. Katika mazingira ya mashirika makubwa na serikali, ambapo kipimo cha kichwa cha habari kinaweza kuendesha bajeti na kuripoti kwa umma, funga nyota ya kaskazini na fasili ya thamani iliyobakizwa au matokeo yaliyokamilika ili hakuna anayeweza kuikuza kwa kufukuzia usajili au mibofyo isiyobadilika kamwe.
Kwa vipengele vya trafiki ndogo, mstari wa uaminifu uko wapi kati ya safirisha-na-angalia yenye nidhamu na jaribio kamili linalodhibitiwa, na nani anaamua? Majaribio hutoa uhakika wa sababu, lakini yanahitaji watumiaji wa kutosha na uvumilivu wa kutosha kufikia nguvu ya kitakwimu, na kulazimisha jaribio lisilo na nguvu ya kutosha kwenye mtiririko wenye trafiki nyembamba huchoma wiki kuzalisha matokeo yasiyoweza kugundua athari inayotafuta. Hatari inayoshindana ni kwamba safirisha-na-angalia imechanganywa na haithibitishi chochote kuhusu sababu, kwa hiyo kuichukulia kama sawa na jaribio huruhusu timu kudai ushindi ambao kwa kweli ulikuwa msimu au badiliko lililotokea wakati huo huo. Leta kiasi cha trafiki na ubadilishaji kwa mtiririko husika, athari ndogo kabisa inayogundulika mnayojali, na uwezo wa kurekebisha badiliko, kisha kubaliana kanuni: jaribio juu ya kizingiti cha trafiki, safirisha-na-angalia yenye vizuizi wazi chini yake. Kwa bidhaa za mashirika zinazolinda mapato na kwa huduma za serikali ambapo regression inadhuru raia, taja nani ana mamlaka ya kuondoa sharti la jaribio, na uhitaji mabadiliko yanayorekebishika yabaki yanarekebishika kweli ili safirisha-na-angalia mbaya iweze kuvutwa haraka.
Mnarekodi matokeo hasi na ya gorofa ya majaribio kwenye hifadhi ya pamoja, au shirika linaendelea kugundua upya mwisho wa njia uleule? Sura iko wazi kwamba matokeo ya gorofa au hasi ni ushahidi wa thamani, si kushindwa, hata hivyo bila hifadhi ya matokeo inayotafutika somo huyeyuka na timu nyingine inaendesha tena jaribio lilelile lililoshindwa mwaka mmoja baadaye. Kwa shirika kubwa hili hujilimbikiza, kwa sababu kujifunza kwa kujilimbikiza ndiyo faida yote ya utamaduni wa majaribio, na kunapatikana tu ikiwa miundo ya majaribio na matokeo vimeandikwa mahali timu inayofuata itavipata. Leta idadi ya majaribio yaliyoendeshwa robo iliyopita, matokeo mangapi yameandikwa na yanagundulika, na kama yeyote anakagua hifadhi kabla ya kubuni jaribio jipya. Katika mazingira ya mashirika makubwa na serikali, rekodi ya kudumu pia hutumikia ukaguzi na uwajibikaji, ikionyesha uamuzi ulisimama juu ya ushahidi badala ya maoni na kuwapa wapitiaji njia inayoweza kutetewa badiliko linalomkabili umma linapohojiwa.

Mtazamo wa sekta

Kampuni changa. Andika mpango wa ufuatiliaji wa ukurasa mmoja kwa matukio yako ya uanzishaji na kikao cha kwanza kabla ya kuongeza chochote kingine, ili data ya mapema zaidi ibaki safi timu inapokua. Hifadhi majaribio halisi ya A/B kwa mtiririko wako wa kiasi cha juu zaidi na utumie safirisha-na-angalia makini kwingineko, nunua zana ya uchanganuzi na majaribio inayopangishwa badala ya kujenga, na ushikilie kipimo kimoja cha nyota ya kaskazini kama uanzishaji. Kusanya matukio yanayojibu swali hai tu, ili usilipie gharama ya hifadhi wala hatari ya faragha kwa data usiyosoma kamwe.

Biashara ndogo. Bila mchambuzi maalumu na bajeti finyu, egemea uchanganuzi uliojengwa kwenye zana unazoendesha tayari na uchukulie majaribio kama zoezi la mara kwa mara, la thamani ya juu badala ya programu ya kudumu. Chaguo kwa kawaida ni kununua kuliko kujenga: mwonekano uliopachikwa wa funeli na vikundi unashinda bomba maalumu usiloweza kudumisha. Elekeza majaribio machache unayoendesha kwenye mtiririko mmoja unaoendesha mapato, na ushughulikie ridhaa kwa urahisi na kwa uaminifu ili mteja anayekataa ufuatiliaji bado apate bidhaa inayofanya kazi.

Biashara kubwa. Kwa ukubwa kuvuka timu nyingi, utawala ndio tatizo: mpango wa ufuatiliaji wenye matoleo unaothibitishwa wakati wa kuingiza, jukwaa la pamoja la majaribio linalosawazisha ugawaji, hesabu za nguvu, na vizuizi, na hifadhi ya matokeo ili vikundi vijifunze kwa kujilimbikiza badala ya kurudia majaribio. Mpe vifaa vya kupima mmiliki aliyetajwa anayefuatiliwa kama bomba, kubaliana kipimo kimoja cha nyota ya kaskazini kinachozungukwa na ingizo zinazoathirika, na utumie uainishaji wa data na vidhibiti vya ufikiaji vilevile kwa data ya kitabia kama seti yoyote nyeti ya data, pamoja na nyayo za ukaguzi kwa maamuzi ya uzinduzi yenye athari.

Serikali. Kanuni za ununuzi, uwazi, na uwajibikaji wa umma huumba kila uchaguzi. Kusanya data ya kitabia ya kiwango cha chini kwa madhumuni yaliyofafanuliwa, pata na heshimu ridhaa, na uchapishe kwa lugha rahisi unachofuatilia na kwa nini, ukiwapa watu huduma inayofanya kazi wakikataa. Endesha majaribio yanayodhibitiwa kwenye maneno na mpangilio wa fomu kuinua ukamilishaji wa huduma muhimu, weka rekodi iliyoandikwa, inayoweza kutetewa ya kila jaribio kwa ukaguzi, na udai muuzaji yeyote wa uchanganuzi afichue ushughulikiaji wake wa data na atoe uhamishaji ili kuepuka kufungwa.

Mifano

Kampuni changa. Programu ndogo ya watumiaji iliandika mpango mfupi, ulioandikwa wa ufuatiliaji kwa matukio yake ya usajili na kikao cha kwanza kabla ya kuongeza uchanganuzi wowote mpya, ili data ibaki safi timu ikikua. Funeli ilionyesha watumiaji wengi wapya waliacha kwenye hatua ya kuthibitisha akaunti, na jaribio rahisi la A/B la maneno wazi zaidi liliinua ubakizaji wa wiki ya kwanza. Kwa trafiki ya wastani timu iliendesha majaribio kwenye mtiririko wake wa kiasi cha juu tu na ilitumia safirisha-na-angalia makini kwa mabadiliko madogo, huku ikiweka uanzishaji kama kipimo chake cha nyota ya kaskazini.

Biashara kubwa. Huduma ya kutiririsha ya usajili inaweka mpango wa ufuatiliaji uliotawaliwa na kuendesha kila badiliko lenye maana kupitia jukwaa la majaribio lenye vipimo vilivyofafanuliwa mapema, hesabu za nguvu, na vizuizi kwenye utendaji wa uchezaji na kuondoka. Mtiririko wa kuanza ulioundwa upya ulionekana bora kwenye mapitio, lakini jaribio linalodhibitiwa lilionyesha ulipunguza ubakizaji wa wiki ya kwanza, kwa hiyo timu iliurudisha kabla ya usambazaji mpana, uokoaji wenye thamani kubwa zaidi ya gharama ya jukwaa.

Serikali. Wakala wa huduma za kidijitali unaweka vifaa vya kupima kwenye mtiririko wake wa ombi la manufaa kwa mpango wa ufuatiliaji unaoheshimu faragha na unaojali ridhaa na kuendesha majaribio yanayodhibitiwa kwenye maneno na mpangilio wa fomu. Uchambuzi wa funeli ulifichua hatua mahususi ambapo theluthi ya waombaji waliacha. Jaribio la mwongozo ulio wazi zaidi liliongeza ukamilishaji kwa kiasi kikubwa, likipunguza maombi yasiyokamilika na kiasi cha kituo cha simu huku likikusanya data ya kitabia ya kiwango cha chini kinachohitajika tu.

Kesi ya biashara: sababu, ROI, na TCO

ROI ya uchanganuzi wa bidhaa na majaribio inaonekana moja kwa moja kwenye matokeo: ubadilishaji, ubakizaji, na ukamilishaji wa juu, na, muhimu, gharama iliyoepukwa ya kusafirisha mabadiliko yenye madhara. Majaribio ni mojawapo ya mazoea machache yanayopima thamani yake yenyewe, kwa sababu kila jaribio linaripoti kiwango cha faida au hasara lililozuia. Vifaa vizuri vya kupima huzidisha faida ya kila uamuzi wa bidhaa kwa kubadilisha kubahatisha na ushahidi, na kipimo cha nyota ya kaskazini huoanisha timu nyingi kwenye fasili moja ya mafanikio.

Gharama ya kupokea inajumuisha zana za uchanganuzi na majaribio, juhudi ya kihandisi ya kuweka vifaa vya kupima vizuri, ujuzi wa uchambuzi wa kuendesha majaribio kwa ukali, na mzigo wa programu ya faragha kwa ridhaa. Ipime dhidi ya gharama ya kutopokea: kusafirisha mabadiliko ambayo athari yake haijulikani, kushinda mabishano kwa cheo badala ya ushahidi, kufukuzia vipimo vya kujisifu vinavyobembeleza huku bidhaa ikidumaa, na mfiduo wa udhibiti kutokana na ukusanyaji wa data wa uzembe. Kwa uongozi, hoja ni kwamba majaribio hugeuza uendelezaji wa bidhaa kuwa mchakato unaopimika, unaojirekebisha, na kwamba uzinduzi mbaya wa kwanza uliozuiwa mara nyingi hulipia programu nzima.

Mifumo mibaya na mitego

Kuongeza matukio bila mpango wa ufuatiliaji, kuzalisha data isiyo thabiti, isiyoweza kutumika.
Kuchungulia majaribio na kusimamisha yanapoonekana ya maana, kuongeza chanya za uongo.
Kujaribu vipimo vingi na kusherehekea chochote kinachojitokeza cha maana kwa bahati.
Kuendesha majaribio yasiyo na nguvu ya kutosha yasiyoweza kugundua athari yanayotafuta.
Kuboresha vipimo vya kujisifu vinavyopanda bila kuakisi thamani halisi.
Kucheza na kipimo kibadala kwa nguvu kiasi lengo la kweli linateseka.
Kuhodhi data ya kitabia bila ridhaa au madhumuni yaliyofafanuliwa.
Kusahau kuandika matokeo hasi, kwa hiyo shirika linarudia majaribio yaliyoshindwa.

Kielelezo cha ukomavu

Kuanzisha. Vifaa vya kupima ni haba au visivyo thabiti, maamuzi yanafanywa kwa maoni na cheo, hakuna majaribio yanayoendeshwa, na vipimo vya kujisifu kama jumla ya usajili vinaripotiwa. Ridhaa inashughulikiwa kwa uzembe.
Kuendeleza. Baadhi ya matukio yanafuatiliwa, lakini uainishaji unateleza kati ya timu. Majaribio ya A/B ya papo hapo ya mara kwa mara yanaendeshwa bila hesabu za nguvu, funeli na ubakizaji vinatazamwa kwa njia isiyo rasmi, na kipimo cha nyota ya kaskazini kinapendekezwa lakini bado hakijaingizwa.
Kusawazisha. Mpango wa ufuatiliaji uliotawaliwa na uainishaji thabiti vimeandikwa, vina matoleo, na vinathibitishwa wakati wa kuingiza kuvuka kila timu. Funeli, vikundi, na ubakizaji vinachambuliwa mara kwa mara, majaribio yanaendeshwa kwenye jukwaa la pamoja lenye vipimo vilivyofafanuliwa mapema, hesabu za nguvu, na vizuizi, na faragha na ridhaa vinashughulikiwa ipasavyo shirika zima.
Kusimamia. Mazoea yanapimwa dhidi ya vipimo vya msingi: ufikiaji wa vifaa vya kupima na viwango vya makosa ya ubora wa matukio vinafuatiliwa, kasi ya majaribio na sehemu ya uzinduzi uliowekewa lango na jaribio inaripotiwa, ukiukaji wa vizuizi na kuchungulia vinanaswa kiotomatiki, na kipimo cha nyota ya kaskazini na vipimo vyake vya ingizo vinafuatiliwa kwa vizingiti wazi vya kuua. Ubora wa data na uzingatiaji wa faragha vinakaguliwa kwa mzunguko uliowekwa badala ya kudhaniwa.
Kuratibu. Majaribio ni chaguo-msingi kwa kila badiliko lenye maana, vifaa vya kupima vinamilikiwa na kufuatiliwa kama bomba, na hifadhi ya pamoja ya matokeo inayojumuisha matokeo hasi na ya gorofa inaruhusu shirika kujifunza kwa kujilimbikiza na kustaafisha mwisho wa njia. Uchanganuzi umeunganishwa na upangaji wa bidhaa na hatari, unaoheshimu faragha kwa usanifu, na seti ya vipimo inapanuliwa upya mfululizo bidhaa, soko, na kanuni vinapohama.

Mawazo ya kujadili

Kipimo cha kweli cha nyota ya kaskazini cha bidhaa yenu ni kipi, na je, kila mtu anakubaliana?
Vipimo vyenu vipi vilivyoripotiwa ni namba za kujisifu zinazopanda tu?
Timu zenu zinakokotoa nguvu ya kitakwimu kabla ya kuendesha majaribio, au zinachungulia na kusimama?
Vifaa vyenu vya kupima vina maeneo vipofu wapi yanayoficha maumivu ya mtumiaji?
Mnaweka vipi uchanganuzi ukiheshimu faragha huku mkijifunza mnachohitaji?
Kwa vipengele vya trafiki ndogo, safirisha-na-angalia inakubalika lini dhidi ya jaribio kamili?

Mambo muhimu ya kukumbuka

Weka vifaa vya kupima kwa makusudi kwa mpango wa ufuatiliaji uliotawaliwa na uainishaji thabiti.
Changanua funeli, vikundi, ubakizaji, na ushirikishi, si upataji tu.
Endesha majaribio makali: hesabu za nguvu, vipimo vilivyofafanuliwa mapema, hakuna kuchungulia.
Nanga kwenye kipimo cha nyota ya kaskazini kilichofungwa na thamani halisi na ulinde dhidi ya vipimo vya kujisifu.
Kusanya data ya kitabia ya kiwango cha chini kwa ridhaa wazi na utawala imara.
Chukulia vifaa vya kupima kama bidhaa na ujenge utamaduni wa majaribio wa kujilimbikiza.
Matokeo ya jaribio ya gorofa au hasi ni ushahidi wa thamani, si kushindwa.

Marejeo na usomaji zaidi

Ron Kohavi, Diane Tang, and Ya Xu, “Trustworthy Online Controlled Experiments.”
Alistair Croll and Benjamin Yoskovitz, “Lean Analytics.”
Eric Ries, “The Lean Startup.”
Avinash Kaushik, “Web Analytics 2.0.”
Georgi Georgiev, “Statistical Methods in Online A/B Testing.”
Regulation (EU) 2016/679, General Data Protection Regulation (GDPR).
Douglas W. Hubbard, “How to Measure Anything.”