11.1 Y biblinell ddarganfod

Trosolwg a chymhelliant

Y biblinell ddarganfod yw’r llif gwaith sy’n penderfynu beth i’w adeiladu a pham, ac yn diffinio sut olwg fydd ar lwyddiant, cyn ac ochr yn ochr â thraddodi. Lle mae’r biblinell draddodi (pennod 11.2) yn troi syniadau wedi’u dilysu’n feddalwedd sy’n rhedeg, mae’r biblinell ddarganfod yn troi problemau, tystiolaeth, a strategaeth yn set flaenoriaethedig, brofadwy o ganlyniadau bwriadedig. Yn yr arfer modern mae’r ddwy’n rhedeg yn barhaus ac yn gyfochrog, gan gael eu galw’n aml yn ddatblygiad trac-deuol, yn hytrach nag fel camau dilyniannol. Mae darganfod yn parhau i fwydo cyflenwad parod o waith wedi’i ddadrisgio, wedi’i fframio’n dda, i draddodiad, ac mae traddodiad yn parhau i fwydo data canlyniadau’r byd go iawn yn ôl i ddarganfod.

I dimau mawr, gwendid mewn darganfod yw’r modd methiant drutaf mewn meddalwedd. Mae tîm â thraddodiad rhagorol a darganfod gwael yn adeiladu’r peth anghywir yn effeithlon: mae’n rhyddhau’n gyflym, yn taro ei dargedau cyflymder, ac eto ni fydd yn symud unrhyw fetrig busnes. Mae’r gost yn anweledig ar ddangosfyrddau peirianneg ac yn enfawr ar y fantolen. Y biblinell ddarganfod yw sut rydych yn gwneud y gost honno’n weladwy: mae’n gorfodi i nodau fod yn eglur, yn fesuradwy, ac yn ffuglenadwy cyn i chi ymrwymo buddsoddiadau mawr.

Mae cyd-destunau menter a llywodraeth yn codi’r stanciau. Mae mentrau’n cydgysylltu degau o dimau yn erbyn strategaeth a rennir, felly mae nodau lleol camalinedig yn cyfansymu’n bortffolios wedi’u gwastraffu. Mae rhaglenni llywodraeth yn ymrwymo cyllid cyhoeddus aml-flwyddyn yn erbyn mandadau deddfwriaethol, lle nad yw “adeiladom yr hyn a ddywedodd y contract” yn amddiffyniad os na fydd y canlyniad (dinasyddion wedi’u gwasanaethu, amseroedd aros wedi’u lleihau, twyll wedi’i atal) byth yn gwireddu. Piblinell ddarganfod ddisgybledig, wedi’i mynegi drwy amcanion, mesurau, a gofynion ansawdd eglur, yw sut mae’r ddau’n cadw eu bwriad yn archwiliadwy.

Egwyddorion allweddol

Canlyniadau dros gynhyrchion. Mesurwch y newid rydych yn ei greu i ddefnyddwyr a’r busnes, nid y nodweddion rydych yn eu rhyddhau.
Gwnewch fwriad yn eglur ac yn fesuradwy. Mae nod na allwch ei fesur yn farn na allwch ei rheoli.
Dadrisgiwch cyn i chi adeiladu. Mae’r arbrawf rhataf yn curo’r farn fwyaf hyderus.
Mae darganfod a thraddodiad yn rhedeg yn barhaus ac yn gyfochrog, nid fel gatiau dilyniannol.
Mae priodweddau ansawdd yn ofynion, nid yn ôl-feddyliau. Mae dibynadwyedd, diogelwch, a hygyrchedd yn cael eu darganfod a’u pennu, nid eu gobeithio.
Mae alinio’n curo optimeiddio lleol. Mae nodau nythog yn cysylltu gwaith tîm â strategaeth.
Cauwch y ddolen. Mae canlyniadau a draddodwyd yn dystiolaeth sy’n ail-fynd i mewn i ddarganfod.

Argymhellion

Fframiwch gyfeiriad gydag OKRs

Defnyddiwch Amcanion a Chanlyniadau Allweddol (OKRs) i gysylltu strategaeth â gweithredu tîm. Mae Amcan yn ddatganiad ansoddol, ysbrydoledig o gyflwr terfynol dymunol (“Gwneud cychwyn cyntaf yn ddiymdrech”). Mae Canlyniadau Allweddol yn nifer bach (fel arfer 2–4) o ganlyniadau mesuradwy sy’n profi bod yr amcan yn cael ei gyflawni (“Cynyddu actifadu 7-diwrnod o 40% i 60%”; “Lleihau tocynnau cymorth cychwyn o 30%”). Mae canlyniadau allweddol yn mynegi canlyniadau, nid tasgau: mae “rhyddhau’r dewin newydd” yn dasg sy’n esgus bod yn ganlyniad.

Casgadwch OKRs drwy aliniad, nid gorchymyn: mae arweinyddiaeth yn gosod nifer bach o amcanion cwmni; mae timau’n cynnig canlyniadau allweddol a’u hamcanion eu hunain sy’n ysgolio i fyny atynt. Gosodwch nhw ar gyflymder rheolaidd (yn gyffredin chwarterol gyda fframwaith blynyddol), adolygwch nhw hanner ffordd drwy’r cylch, a graddiwch nhw’n onest ar y diwedd. Cadwch nhw ar wahân i adolygiadau perfformiad: mae OKRs a raddir ar gyfer iawndal yn dod yn fuan yn rhai a danlwythir yn fwriadol. Gweler pennod 10.1 am sut mae OKRs yn cysylltu â rheoli portffolio a rhaglenni.

Monitrwch iechyd gyda KPIs

Gwahaniaethwch Dangosyddion Perfformiad Allweddol (KPIs) oddi wrth OKRs. Mae OKRs yn disgrifio’r newid rydych ei eisiau y cyfnod hwn; mae KPIs yn disgrifio’r iechyd parhaus y mae’n rhaid i chi ei gynnal ni waeth beth rydych yn ei newid (amser i fyny, cyfradd trosi, cost fesul trafodiad, boddhad cwsmer). Gall metrig fod y ddau (mae KPI rydych yn ceisio’n weithredol ei symud yn dod yn ganlyniad allweddol), ond mae’r rhan fwyaf o KPIs yn gwarchodfeini rydych yn eu monitro, nid targedau rydych yn sbrintio tuag atynt.

Dosbarthwch bob metrig pwysig fel arweiniol (rhagfynegol a gweithredadwy nawr, fel cofrestriadau treial) neu lusgol (cadarnhaol ac araf, fel refeniw blynyddol). Mae darganfod yn dibynnu ar ddangosyddion arweiniol i lywio cyn i ddangosyddion llusgol gadarnhau. Byddwch yn wyliadwrus o fetrigau balchder sy’n codi’n ddibynadwy ond nad ydynt yn rhagfynegi dim (golygfeydd tudalen crai, cyfanswm defnyddwyr cofrestredig); ffafriwch fetrigau cymhareb a chohort sy’n gwrthsefyll gemio. Gweler penodau 7.3 a 7.4 am y peirianwaith dadansoddeg ac arbrofi y tu ôl i’r mesurau hyn.

Pennwch briodweddau ansawdd system yn benodol

Mae gofynion swyddogaethol yn dweud beth mae’r system yn ei wneud. Mae priodweddau ansawdd system (yr “-oldebau”: dibynadwyedd, perfformiad, graddadwyedd, diogelwch, hygyrchedd, cynhaliadwyedd, gweithredadwyedd) yn dweud pa mor dda y mae’n rhaid iddi ei wneud. Mae’r rhain yn cael eu tan-ddarganfod yn rheolaidd: mae pawb yn eu tybio, nid oes neb yn eu pennu, ac maent yn dod i’r amlwg fel digwyddiadau cynhyrchu. Triniwch nhw fel cynnyrch darganfod dosbarth cyntaf. Nodwch y gofynion arwyddocaol yn bensaernïol (y gofynion ansawdd sy’n siapio’r bensaernïaeth yn sylweddol) ar gyfer pob menter. Meintiolwch nhw (“oedi p99 o dan 200 ms ar 10× y llwyth cyfredol”; “WCAG (Canllawiau Hygyrchedd Cynnwys Gwe) 2.2 AA”; “amcan amser adfer o 15 munud”). A lle gallwch, amgodiwch nhw fel ffwythiannau ffitrwydd awtomataidd (gwiriadau gweithredadwy sy’n gwirio priodwedd ansawdd yn barhaus) y gall y biblinell draddodi eu gwirio. Dyma gymar ochr-ddarganfod pennod 3.1 (sylfeini pensaernïaeth) a phennod 3.5 (graddadwyedd, perfformiad, gwydnwch).

Gwnewch bob nod yn SMART

Boed yn ysgrifennu canlyniad allweddol, maen prawf derbyn, neu darged ansawdd, cymhwyswch y prawf SMART:

Penodol (Specific): yn enwi un canlyniad clir, diamwys.
Mesuradwy (Measurable): mae ganddo fetrig a ffynhonnell gwirionedd.
Cyraeddadwy (Achievable): yn realistig o ystyried cyfyngiadau a thystiolaeth.
Perthnasol (Relevant): yn ysgolio i fyny at amcan uwch ac at werth defnyddiwr.
Amser-derfynedig (Time-bound): mae ganddo derfyn amser neu ddyddiad adolygu.

Mae “gwella perfformiad” yn methu pob llythyren. Mae “lleihau amser talu canolrifol o 8eiliad i 3eiliad ar gyfer defnyddwyr symudol erbyn diwedd Ch3, wedi’i fesur gan fonitro defnyddwyr go iawn” yn pasio pob un o’r pump. Mae meini prawf SMART yn trosi uchelgais amwys yn hawliad ffuglenadwy y gall darganfod ei brofi a thraddodiad ei wirio.

Rhedwch ddarganfod parhaus, wedi’i yrru gan dystiolaeth

Strwythurwch ddarganfod fel piblinell ailadroddadwy, nid cyfnod un-tro:

Synhwyro. Casglwch signalau: ymchwil defnyddwyr, data cymorth, dadansoddeg, mewnbynnau marchnad a chydymffurfiaeth.
Fframio. Mapiwch gyfleoedd (mae coeden cyfle-datrysiad yn cysylltu canlyniad dymunol ag anghenion defnyddwyr a datrysiadau ymgeisiol a allai ei symud).
Hypothesu. Datganwch dybiaethau fel hawliadau ffuglenadwy: “Credwn y bydd [newid] yn achosi [canlyniad] i [segment], a byddwn yn gwybod os yw [mesur] yn symud.”
Arbrofi. Dilyswch y tybiaethau mwyaf peryglus â’r prawf rhataf: cyfweliadau, prototeipiau, profion drws-ffug (hysbysebu nodwedd nad yw wedi’i hadeiladu eto i fesur galw go iawn), arbrofion A/B (cymariaethau ar hap o ddau amrywiolyn, pennod 7.4).
Penderfynu. Daliwch ati, trowch, neu gollyngwch, a bwydwch y rhai sy’n goroesi i mewn i’r ôl-gronfa draddodi gyda’u meini prawf llwyddiant SMART ynghlwm.

Nid rhestr nodweddion yw allbwn y biblinell ddarganfod; ffrwd o fetiau wedi’u dilysu, mesuradwy sy’n barod ar gyfer traddodiad ydyw.

Cyfaddawdau: manteision ac anfanteision

Dull	Manteision	Anfanteision
Nodau seiliedig-ar-ganlyniad (OKRs)	Yn alinio timau ag effaith; yn grymuso ymreolaeth yn y sut	Anodd eu hysgrifennu’n dda; temtasiwn i’w llenwi’n ôl â thasgau; priodoliad swnllyd
Map ffyrdd cynhyrchion/nodweddion	Rhagweladwy, hawdd cyfathrebu a chontractio	Yn gwobrwyo rhyddhau dros effaith; yn cuddio risg y peth anghywir
Darganfod trwm ymlaen llaw	Yn lleihau gwastraff adeiladu; gofynion cryf	Yn arafu cychwyn; yn peryglu parlys dadansoddi; tybiaethau’n dal heb eu profi
Darganfod trac-deuol parhaus	Yn dadrisgio’n barhaus; adborth cyflym	Angen capasiti ymchwil a disgyblaeth; anos ei amserlennu
Priodweddau ansawdd eglur fel targedau SMART	Yn atal syrpreisys “-oldeb”; archwiliadwy	Ymdrech i feintioli; gall gyfyngu gormod ar archwiliad cynnar

Y tyndra canolog yw ymrwymiad yn erbyn dysgu. Mae mentrau, ac yn enwedig llywodraethau, yn aml angen ymrwymiadau cadarn ar gyfer cyllidebu a chontractau, sy’n tynnu tuag at fapiau ffyrdd cynhyrchion. Mae canlyniadau da angen lle i ddysgu, sy’n tynnu tuag at OKRs ac arbrofion. Datryswch ef fel hyn: ymrwymwch i broblemau a chanlyniadau yn gadarn, a daliwch ddatrysiadau yn llac.

Cwestiynau i’w trafod gyda’ch tîm

Pwy yn eich tîm sy’n berchen ar ddarganfod mewn gwirionedd, ac a oes ganddynt y gallu i’w redeg yn barhaus yn hytrach nag mewn sbrint un-tro? Mae datblygiad trac-deuol yn gweithio dim ond pan fo rhywun yn cadw’r trac darganfod ar agor bob wythnos yn hytrach na dim ond ar ddechrau chwarter. Mewn sefydliad mawr, yn aml nid oes gan ddarganfod berchennog penodedig, felly mae’n chwalu i bwy bynnag sydd ag amser sbâr, sef neb, ac mae’r tîm yn diofalu i adeiladu. Dewch â thystiolaeth: cyfrwch faint o’ch deg nodwedd ddiwethaf a aeth drwy hypothesis dogfennedig a phrawf rhad cyn adeiladu, o gymharu â mynd yn syth i mewn i’r ôl-gronfa. Mewn lleoliadau menter a llywodraeth, lle gall un fenter gamalinedig wastraffu sawl chwarter-tîm, enwch berchennog cynnyrch neu driawd (cynnyrch, dylunio, peirianneg) sy’n atebol am y ddolen synhwyro-fframio-hypothesu-arbrofi-penderfynu. Os nad oes neb yn berchen arno, staffiwch ef cyn i chi ddadlau am unrhyw beth arall.
Pa rai o’ch mentrau cyfredol sydd â gofynion arwyddocaol yn bensaernïol na wnaethoch chi erioed eu meintioli, ac a allech amgodio unrhyw un fel ffwythiant ffitrwydd? Mae’r “-oldebau” (dibynadwyedd, perfformiad, diogelwch, hygyrchedd) yn cael eu tybio ac yna’n dod i’r amlwg fel digwyddiadau cynhyrchu. Ewch drwy bob menter weithredol, gofynnwch pa briodweddau ansawdd sy’n siapio’r bensaernïaeth yn sylweddol, a gwiriwch a oes gan bob un rif a ffynhonnell gwirionedd: “p99 o dan 200 ms ar 10× llwyth,” “WCAG 2.2 AA,” “amcan amser adfer o 15 munud.” I fenter a llywodraeth, mae gofynion hygyrchedd neu ddiogelwch heb eu meintioli’n creu perygl cyfreithiol ac archwilio uniongyrchol. Y signal i’w ddwyn yw eich tri digwyddiad diwethaf: faint a olrheiniwyd yn ôl at briodwedd ansawdd nad oedd neb wedi’i phennu? Lle gallwch droi targed yn ffwythiant ffitrwydd awtomataidd y mae’r biblinell draddodi’n ei wirio, gwnewch hynny, oherwydd mae targed wedi’i bennu ond heb ei orfodi’n drifftio.
Pan wnaethoch chi ymrwymo ddiwethaf i ddatrysiad, a wnaethoch chi brofi’r dybiaeth fwyaf peryglus yn gyntaf, neu’r un hawsaf? Mae timau’n dilysu’n ddibynadwy’r dybiaeth y maent fwyaf cyfforddus â hi ac yn hepgor yr un a fyddai wir yn lladd y syniad. Ar gyfer pob menter, rhestrwch ei thybiaethau (dymunoldeb, hyfywedd, dichonoldeb) a’u graddio yn ôl “pa mor farw yw’r syniad hwn os ydym yn anghywir yma”, yna anelwch y prawf rhataf at frig y rhestr honno. Mae hyn yn bwysig ar raddfa fawr oherwydd gall tîm hyderus, uwch ymrwymo chwarter o beirianneg i gred heb ei phrofi, ac mae’r gost yn aros yn anweledig tan lansiad. Dewch â’r arteffact: eich hypothesis diwethaf wedi’i ddatgan fel “Credwn y bydd [newid] yn achosi [canlyniad] i [segment], wedi’i fesur gan [metrig],” a gofynnwch a wnaethoch chi ei brofi neu ddim ond ei adeiladu. Os na allwch enwi’r dybiaeth fwyaf peryglus, nid ydych yn barod i ymrwymo capasiti adeiladu.
Faint o’ch canlyniadau allweddol sy’n ganlyniadau gwirioneddol, a faint sy’n dasgau neu ddyddiadau rhyddhau’n gwisgo dillad canlyniad? Y methiant mwyaf cyffredin mewn cynllunio seiliedig-ar-ganlyniad yw llenwi canlyniadau allweddol yn ôl â’r gwaith roeddech eisoes wedi cynllunio ei wneud (“rhyddhau’r dewin newydd”) yn lle’r newid y mae’r gwaith hwnnw i fod i’w achosi (“codi actifadu 7-diwrnod o 40% i 60%”). Ar raddfa fawr mae hyn yn trechu’r pwynt cyfan yn dawel: mae degau o dimau’n adrodd gwyrdd tra nad oes unrhyw fetrig busnes yn symud, oherwydd bod pawb wedi eu graddio eu hunain ar sail rhyddhau. Mae’r dynfa gystadleuol yn wirioneddol, mae mapiau ffyrdd cynhyrchion yn haws eu cyfathrebu, eu contractio, a’u rhagweld, sef union pam maent yn cripian yn ôl i mewn. Dewch â’ch set OKR gyfredol a marciwch bob canlyniad allweddol fel canlyniad neu gynnyrch, yna gwiriwch a yw graddio OKR wedi’i blethu â iawndal, gan fod canlyniadau sy’n gysylltiedig â chyflog yn cael eu tan-lwytho’n gyflym. Ar gyfer portffolios menter a llywodraeth, lle mae cyllid wedi’i ymrwymo yn erbyn nodau datganedig, mae map ffyrdd o gynhyrchion heb fesur canlyniad yn ganfyddiad archwilio sy’n aros i ddigwydd; mynnwch fod pob menter yn ymrwymo i broblem a chanlyniad mesuradwy’n gadarn tra’n dal y datrysiad yn llac.
Pa rai o’ch KPIs fyddai’n dal i ddringo hyd yn oed pe bai’r cynnyrch yn gwaethygu, a pha warchodfeini sy’n amddiffyn y metrigau rydych yn ceisio’n weithredol eu symud? Mae pob metrig rydych yn ei ddyrchafu’n darged yn gwahodd Deddf Goodhart: unwaith y bydd mesur yn dod yn nod, mae pobl yn optimeiddio’r mesur yn hytrach na’r peth roedd i fod i’w gynrychioli. Mae metrigau balchder (golygfeydd tudalen crai, cyfanswm defnyddwyr cofrestredig cronnus) yn codi’n ddibynadwy ac yn rhagfynegi dim, tra gall un canlyniad allweddol a helir heb warchodfeini gael ei fodloni drwy ddirywio rhywbeth na wnaethoch chi erioed ei enwi. Y tyndra yw bod dangosyddion arweiniol yn eich galluogi i lywio’n gynnar ond maent yn swnllyd ac yn agored i gemio, tra bo dangosyddion llusgol yn ddibynadwy ond yn cadarnhau’n rhy hwyr i weithredu. Dewch â’ch stocrestr fetrigau wedi’i dosbarthu fel arweiniol neu lusgol ac fel targed neu warchodfaen, a phrofwch straen pob targed drwy ofyn “sut y gallai tîm clyfar daro’r rhif hwn tra’n gwneud y cynnyrch yn waeth.” Mewn lleoliadau rheoleiddiedig a chyhoeddus, cyhoeddwch y gwarchodfeini ochr yn ochr â’r targedau, oherwydd ni all corff trosolwg sy’n gweld dim ond y metrig pennawd ddweud gwahaniaeth rhwng gwerth cyhoeddus gwirioneddol a rhif wedi’i gemio.
Pan fo traddodiad yn rhyddhau rhywbeth, sut mae’r canlyniad byd-go-iawn wir yn ail-fynd i mewn i ddarganfod, neu a yw’r ddolen yn aros ar agor? Mae datblygiad trac-deuol ond yn cyfansymu os yw canlyniadau a draddodwyd yn llifo’n ôl fel tystiolaeth ar gyfer y rownd nesaf; pan fo’r ddolen yn aros ar agor, mae timau’n rhyddhau, yn dathlu, ac byth yn dysgu a dalodd y bet ai peidio, felly mae’r un tybiaethau heb eu profi’n ailddigwydd. Mewn sefydliad mawr, y llwybr adborth yw lle mae cyfrifoldeb yn fwyaf tebygol o ddisgyn drwy fwlch: mae traddodiad yn berchen ar y rhyddhad, mae dadansoddeg yn berchen ar y ddangosfwrdd, ac nid oes neb yn berchen ar gymharu’r canlyniad allweddol addawedig â’r un a arsylwyd. Dewch â’ch deg menter ddiwethaf a ryddhawyd a gofynnwch, ar gyfer pob un, a wiriodd unrhyw un y metrig canlyniad yn erbyn y targed SMART gwreiddiol ac a newidiodd y gwiriad hwnnw benderfyniad dilynol. Ar gyfer rhaglenni menter a llywodraeth sy’n ymrwymo cyllid aml-flwyddyn, enwch y cyflymder a’r perchennog ar gyfer ymddeol neu ailgwmpasu nodweddion a fethodd symud eu metrig, oherwydd mae nodwedd wedi’i rhyddhau nad oes neb yn ei hail-ymweld yn dod yn gost barhaol heb adolygiad atebol.

Lens sector

Startup. Gyda thîm bach a rhedfa fer, mae eich piblinell ddarganfod yn fwriadol ysgafn ond byth wedi’i hepgor: mae diwrnod o gyfweliadau cwsmer a phrawf drws-ffug yn costio bron dim yn erbyn yr wythnosau y mae adeiladu anghywir yn eu llosgi. Dewiswch un dangosydd arweiniol sy’n sefyll dros eich gwerth craidd, datganwch bob bet fel un hypothesis ffuglenadwy, a lladdwch syniadau cyn i chi ysgrifennu cod yn hytrach nag wedyn. Mae OKRs ffurfiol yn ormodedd i bump o bobl; mae un canlyniad mesuradwy gonest fesul cylch yn ddigon i atal cyflymder rhag dod yn symudiad heb gynnydd.

Busnes bach. Mae’n debygol nad oes gennych ymchwilydd neu ddadansoddwr cynnyrch penodedig, felly triniwch ddarganfod fel arferiad, nid rôl: ychydig o sgyrsiau strwythuredig â chwsmeriaid go iawn a metrig syml rydych eisoes yn ei gasglu. Mae’r cwestiwn adeiladu-yn-erbyn-prynu’n dominyddu, oherwydd bod y rhan fwyaf o briodweddau ansawdd (dibynadwyedd, diogelwch, hygyrchedd) yn rhatach i’w cael gan werthwr enwog na’u pennu a’u gorfodi eich hun. Ysgrifennwch un neu ddau darged SMART fel y gallwch ddweud a wnaeth offeryn a brynwyd neu adeiladu bach wir symud y canlyniad, ac osgowch ymrwymo cyllideb brin i nodweddion nad oedd neb wedi dilysu bod eu heisiau.

Menter. Mae graddfa’n troi darganfod yn broblem gydgysylltu ar draws degau o dimau: heb gyflymder OKR a rennir a diffiniad cyffredin o “ganlyniad”, mae nodau lleol yn drifftio ac yn dyblygu, ac mae betiau camalinedig yn cyfansymu’n bortffolios wedi’u gwastraffu. Safonwch sut y meintiolir gofynion arwyddocaol yn bensaernïol ac amgodiwch nhw fel ffwythiannau ffitrwydd fel bod priodweddau ansawdd yn cael eu llywodraethu, nid eu tybio. Rheolwch ddarganfod fel portffolio gyda meini prawf lladd eglur a dolen sy’n bwydo metrigau canlyniad a draddodwyd yn ôl i’r cylch nesaf, fel bod arweinyddiaeth yn llywio ar effaith yn hytrach nag ar ôl-gronfa o nodweddion.

Llywodraeth. Mae caffael a chyllid aml-flwyddyn yn mynnu ymrwymiadau cadarn, sy’n tynnu’n galed tuag at gontractau cynhyrchion, ac eto mae gwerth cyhoeddus yn byw mewn canlyniadau: dinasyddion wedi’u gwasanaethu, amseroedd aros wedi’u torri, baich wedi’i leihau. Fframiwch raglenni o amgylch canlyniadau cyhoeddus mesuradwy a phriodweddau ansawdd na ellir eu negodi (hygyrchedd WCAG, iaith blaen, diogelwch), a gwnewch dystiolaeth ddarganfod, gan gynnwys profi defnyddioldeb gyda defnyddwyr technoleg gynorthwyol, yn rhan o’r cofnod y gall cyrff trosolwg ei archwilio. Diffiniwch lwyddiant fel canlyniadau trethdalwr neu ddinesydd yn hytrach na modiwlau a draddodwyd, fel na all “adeiladom yr hyn a ddywedodd y contract” byth ddisodli canlyniad na wireddwyd erioed.

Enghreifftiau

Startup. Mae tîm pedwar-person cam-hadyn sy’n adeiladu ap amserlennu ar gyfer salonau gwallt yn cael ei demtio i adeiladu teclyn archebu-ar-lein oherwydd bod ychydig o ddefnyddwyr swnllyd wedi gofyn amdano. Yn lle hynny maent yn rhedeg wythnos o ddarganfod: pum cyfweliad perchennog, botwm drws-ffug “Archebu ar-lein” ar y wefan farchnata, ac un dangosydd arweiniol (canran yr apwyntiadau sy’n gorffen mewn peidio-â-dod). Mae’r cyfweliadau a data’r cliciau’n datgelu mai peidio-â-dod, nid archebu, yw’r boen wirioneddol, felly maent yn ysgrifennu un canlyniad allweddol SMART (torri peidio-â-dod o 22% i lai na 10% ar gyfer salonau peilot y chwarter hwn) ac yn rhyddhau nodwedd blaendal-ac-atgoffa fach yn gyntaf, gan ladd y teclyn archebu cyn ysgrifennu un llinell ohono.

Menter. Mae grŵp taliadau banc manwerthu’n disodli map ffyrdd cyfrif-nodweddion â thri OKR chwarterol, gydag un yn “Gwneud i daliadau bob-dydd deimlo’n syth” gyda chanlyniadau allweddol ar gyfer amser cadarnhau trosglwyddiad p95, cyfradd llwyddiant cynnig-cyntaf, a chysylltiadau cymorth cysylltiedig â thaliadau. Mae priodweddau ansawdd system yn cael eu pennu ymlaen llaw (argaeledd 99.99%, cadarnhad is-eiliad, cwmpas PCI-DSS (Safon Ddiogelwch Data’r Diwydiant Cardiau Talu) wedi’i leihau) ac wedi’u gwifro i mewn i draddodiad fel ffwythiannau ffitrwydd. Mae darganfod yn rhedeg cyfweliadau cwsmer wythnosol a phrofion drws-ffug cyn ymrwymo peirianneg. Mae dwy nodwedd ymgeisiol yn cael eu lladd mewn darganfod am fethu symud y dangosyddion arweiniol (gan arbed dwy chwarter amcangyfrifedig o ymdrech adeiladu), tra bo trwsiad oedi llai, dilewyrch yn symud y canlyniad allweddol fwyaf.

Llywodraeth. Mae asiantaeth drethi genedlaethol sy’n moderneiddio ffeilio ar-lein yn gosod amcan rhaglen o “Leihau baich ffeilio i drethdalwyr cyffredin”, gyda chanlyniadau allweddol SMART: torri amser-i-ffeilio canolrifol o 45 i 20 munud, codi cwblhau hunanwasanaeth llwyddiannus o 60% i 85%, a bodloni safonau WCAG 2.2 AA ac iaith blaen fel priodweddau ansawdd na ellir eu negodi. Mae KPIs (amser i fyny yn ystod y tymor ffeilio, cyfaint canolfan alwadau) yn cael eu monitro fel gwarchodfeini. Mae darganfod yn defnyddio profi defnyddioldeb wedi’i gymedroli gyda threthdalwyr go iawn, gan gynnwys defnyddwyr technoleg gynorthwyol, cyn pob rhyddhad. Am fod llwyddiant wedi’i ddiffinio fel canlyniadau trethdalwr yn hytrach na modiwlau a draddodwyd, gall y rhaglen ddangos gwerth cyhoeddus mesuradwy i gyrff trosolwg, nid dim ond gwariant.

Achos busnes: cymhellion, ROI, a TCO

Mae’r enillion ar biblinell ddarganfod yn cael eu dominyddu gan wastraff osgoedig. Mae profiad diwydiant, wedi’i adleisio mewn rhaglenni arbrawf-rheoledig mewn cwmnïau technoleg mawr, yn canfod yn ailadroddus fod cyfran fawr o nodweddion a adeiladwyd, yn aml wedi’u dyfynnu o gwmpas hanner neu fwy, yn cynhyrchu dim gwelliant mesuradwy neu’n niweidio’r metrig targed yn weithredol. Tybiwch fod hyd yn oed chwarter o gapasiti adeiladu tîm yn mynd i syniadau y byddai darganfod wedi’u lladd yn rhad. Mae’r biblinell wedyn yn talu amdani ei hun sawl gwaith drosodd: mae wythnos o ymchwil defnyddwyr a phrawf drws-ffug yn costio bron dim yn erbyn chwarter o beirianneg, ynghyd â baich cynnal a chadw parhaus nodwedd nas defnyddir.

Mae’r fframwaith cyfanswm cost perchnogaeth (TCO) yn bwysig oherwydd nid yw nodweddion heb eu dilysu am ddim ar ôl lansio. Mae pob nodwedd a ryddheir yn cario costau parhaus: cynnal a chadw, profi, arwyneb diogelwch, cymorth, a llwyth gwybyddol (pennod 10.4). Mae lladd syniad gwael mewn darganfod yn osgoi nid dim ond y gost adeiladu ond y gynffon gyfan o berchnogaeth. Mae priodweddau ansawdd eglur yn dilyn yr un rhesymeg: mae pennu dibynadwyedd a hygyrchedd fel targedau SMART ymlaen llaw yn llawer rhatach nag ôl-osod eu ar ôl toriad, tor-diogelwch, neu achos llys.

I wneud yr achos i arweinyddiaeth, symudwch y sgwrs o “faint rydym yn ei ryddhau” i “faint rydym yn symud y metrigau sy’n bwysig”, a dangoswch ychydig o enghreifftiau diriaethol o nodweddion drud a symudodd ddim. Mae cost mabwysiadu’n gymedrol (capasiti ymchwil, cyflymder OKR, a’r ddisgyblaeth i ysgrifennu meini prawf SMART), ac mae prif risg peidio â mabwysiadu’n dawel, heb ei gyfrif, ac yn cyfansymu.

Gwrthbatrymau a pheryglon

Mapiau ffyrdd o nodweddion yn esgus bod yn strategaeth: rhestrau cynhyrchion heb ganlyniad na mesur datganedig.
Canlyniadau allweddol sy’n dasgau: “rhyddhau X” yn lle “gwella Y gan Z.”
Theatr OKR: nodau wedi’u hysgrifennu, eu ffeilio, a byth wedi’u hadolygu na’u graddio.
OKRs wedi’u tan-lwytho neu arwrol: targedau wedi’u gosod i warantu 100% (dim byd wedi’i ddysgu) neu ymestyn ffantasi heb gynllun.
Priodweddau ansawdd heb eu pennu: dibynadwyedd, diogelwch, a hygyrchedd wedi’u tybio yn hytrach na’u meintioli, wedyn wedi’u darganfod mewn cynhyrchu.
Metrigau balchder: mesurau sydd bob amser yn codi ac nad ydynt yn rhagfynegi dim.
Darganfod fel cyfnod un-tro: “sbrint darganfod” ymlaen llaw, yna dim dilysu parhaus.
Adeiladu’r datrysiad cyn profi’r dybiaeth: hepgor yr arbrawf rhataf am fod y tîm yn hyderus.
Sefydlogedd metrig a Deddf Goodhart: unwaith y bydd mesur yn dod yn darged, mae’n peidio â bod yn fesur da; cydbwyswch â KPIs gwarchodfaen.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae gwaith yn cael ei ddiffinio fel nodweddion ar fap ffyrdd a llwyddiant yw “fe’i rhyddhawyd gennym.” Nid oes mesurau canlyniad na thargedau ansawdd eglur; mae darganfod yn digwydd ar hap, os o gwbl, ac mae penderfyniadau’n cael eu gyrru gan y farn uchaf ei sain.
Lefel 2, Datblygu: Mae OKRs a KPIs yn bodoli ar gyfer rhai timau ond nid eraill; mae nodau’n cael eu datgan ond yn aml ar ffurf cynnyrch; mae priodweddau ansawdd yn cael eu henwi ond heb eu meintioli. Gall tîm redeg “sbrint darganfod” un-tro, yna stopio dilysu unwaith y bydd adeiladu’n dechrau, felly mae’r arfer yn wirioneddol ond yn anghyson ar draws y sefydliad.
Lefel 3, Safoni: Mae cyflymder OKR cyson wedi’i alinio â strategaeth, canlyniadau allweddol SMART, a phriodweddau ansawdd penodedig, profadwy wedi’u dogfennu a’u disgwyl ar draws y sefydliad. Mae darganfod yn weithgaredd cydnabyddedig, wedi’i staffio gyda hypothesau ac arbrofion, ac mae gofynion arwyddocaol yn bensaernïol yn cael eu nodi ar gyfer pob menter yn hytrach na’u tybio.
Lefel 4, Rheoli: Mae’r portffolio’n cael ei fesur yn erbyn llinellau sylfaen. Mae dangosyddion arweiniol a llusgol, cyfradd trawiad darganfod, a’r canlyniad y mae pob bet a ryddhawyd wedi’i symud mewn gwirionedd yn cael eu tracio yn erbyn ei darged SMART; mae hypothesau’n cael eu graddio ar dystiolaeth a meini prawf lladd yn cael eu gorfodi; mae ffwythiannau ffitrwydd yn adrodd cydymffurfiaeth priodwedd-ansawdd yn barhaus, fel bod drifft o darged dibynadwyedd, perfformiad, neu hygyrchedd penodedig yn cael ei ddal gyda data yn hytrach nag mewn digwyddiad.
Lefel 5, Cydgysylltu: Mae darganfod trac-deuol parhaus wedi’i integreiddio â phortffolio, risg, a chyllidebu; mae betiau wedi’u dilysu’n llifo’n gyson i draddodiad ac mae metrigau canlyniad yn dolennu’n ôl yn awtomatig i lywio’r rownd nesaf. Mae dangosyddion arweiniol yn llywio buddsoddiad, ac mae’r sefydliad yn arferol yn ymddeol, yn ailgwmpasu, ac yn ailgydbwyso mentrau ar sail tystiolaeth, gan addasu’r biblinell ei hun wrth i’r farchnad a’r metrigau newid.

Syniadau ar gyfer trafodaeth

Edrychwch ar eich map ffyrdd cyfredol: sawl eitem sy’n datgan canlyniad mesuradwy o gymharu â dim ond nodwedd i’w rhyddhau?
Pa rai o ganlyniadau allweddol eich tîm sydd mewn gwirionedd yn dasgau wedi’u cuddio, a sut y byddech yn eu hailysgrifennu?
Pa briodweddau ansawdd system y mae eich cynnyrch yn dibynnu arnynt nad ydynt erioed wedi’u meintioli’n benodol?
Beth yw’r arbrawf rhataf a allai fod wedi lladd eich nodwedd fethedig ddiwethaf cyn i chi ei hadeiladu?
Sut rydych yn datrys y tyndra rhwng yr ymrwymiadau cadarn y mae cyllidebu/caffael yn eu mynnu a’r dysgu y mae canlyniadau da’n ei fynnu?
Pa rai o’ch KPIs fyddai’n dal i godi hyd yn oed pe bai’r cynnyrch yn gwaethygu?

Prif gasgliadau

Mae’r biblinell ddarganfod yn penderfynu beth a pham, ac yn diffinio llwyddiant cyn i draddodiad ymrwymo adnoddau.
Defnyddiwch OKRs ar gyfer y newid rydych ei eisiau, KPIs ar gyfer yr iechyd rydych yn ei gynnal, a dosbarthwch fetrigau fel arweiniol neu lusgol.
Triniwch briodweddau ansawdd system fel gofynion eglur, wedi’u meintioli, profadwy, nid tybiaethau.
Gwnewch bob nod, canlyniad allweddol, a maen prawf derbyn yn SMART.
Rhedwch ddarganfod yn barhaus ac yn gyfochrog â thraddodiad; dilyswch y tybiaethau mwyaf peryglus yn rhad.
Y ROI dominyddol yw gwastraff osgoedig: y gost adeiladu a TCO parhaus nodweddion nas defnyddir ill dau.
Cauwch y ddolen: mae metrigau canlyniad a draddodwyd (pennod 11.2) yn dystiolaeth gynradd ar gyfer y rownd nesaf o ddarganfod.

Cyfeiriadau a darllen pellach

Measure What Matters, gan John Doerr (ar OKRs).
Radical Focus, gan Christina Wodtke (ar OKRs yn ymarferol).
Continuous Discovery Habits, gan Teresa Torres (coed cyfle-datrysiad, darganfod trac-deuol).
Inspired ac Empowered, gan Marty Cagan (darganfod cynnyrch a thimau canlyniad).
Lean Analytics, gan Alistair Croll a Benjamin Yoskovitz (dangosyddion arweiniol, metrigau balchder).
The Lean Startup, gan Eric Ries (adeiladu-mesur-dysgu, dysgu wedi’i ddilysu).
Escaping the Build Trap, gan Melissa Perri (canlyniadau dros gynhyrchion).
Outcomes Over Output, gan Joshua Seiden.
Software Architecture in Practice, gan Bass, Clements, Kazman (priodweddau ansawdd).
Doran, G. T., “There’s a S.M.A.R.T. way to write management’s goals and objectives” (Management Review, 1981): tarddiad meini prawf SMART.