11.5 Dangosyddion perfformiad allweddol (KPIs)

Trosolwg a chymhelliant

Mae dangosydd perfformiad allweddol (KPI) yn fetrig y mae eich sefydliad yn dewis ei olrhain yn fwriadol am ei fod yn adlewyrchu iechyd parhaus rhywbeth sydd o bwys. Mae’r gair allweddol yn cario’r pwysau yma: nid unrhyw rif y gallwch ei gasglu yw KPI, ond y set fach rydych wedi penderfynu ei bod yn werth llywio yn ôl. Lle mae amcan a chanlyniad allweddol (OKR) yn disgrifio newid rydych yn ei yrru ar hyn o bryd, mae KPI yn disgrifio’r cyflwr sefydlog rydych yn ei amddiffyn. Dyma’r ffordd lanaf o gadw’r ddau ar wahân: OKRs yw’r newid rydych ei eisiau; KPIs yw’r iechyd rydych yn ei gynnal. Pennod 11.4 yw’r bennod gyfatebol ar OKRs, eu rhythm, a’u graddio; mae’r bennod hon am ddewis KPIs, eu diffinio, a’u hamddiffyn rhag ystumio.

I dimau mawr, mae’r ddisgyblaeth y mae KPI da yn ei gorfodi yn werth cymaint â’r metrig ei hun. Mewn mentrau, mae dwsinau o dimau’n mynd ar drywydd rhifau lleol sy’n crwydro’n dawel oddi wrth strategaeth, a gall un KPI wedi’i ddewis yn dda alinio cannoedd o bobl ar y gwerth y mae cwsmeriaid yn ei dderbyn go iawn. Mewn llywodraeth, mae rhaglenni aml-flwyddyn yn ymrwymo cyllid cyhoeddus yn erbyn mandadau deddfwriaethol, ac nid yw “gwnaethom ddarparu’r modiwlau yn y datganiad gwaith” yn amddiffyniad os na wnaeth amseroedd aros na thwyll erioed wella. Mae KPI a ddewiswyd yn wael yn llygru’n dawel: bydd canolfan alwadau a fesurir ar sail galwadau a gaewyd yr awr yn cau galwadau, nid yn datrys problemau.

Mae’r bennod hon am gael y dewisiadau hynny, a’r cadwynau diogelwch o’u cwmpas, yn iawn. Mae Pennod 11.1 yn cyflwyno KPIs yn fyr fel rhan o’r biblinell ddarganfod; yma cewch y dyfnder. Mae’r risgiau’n uchel oherwydd bod KPI yn gyfarwyddyd wedi’i guddio fel mesuriad. Mae pobl yn optimeiddio’r hyn a gyfrifwch, felly mae’n well i’r hyn a gyfrifwch fod yr hyn rydych ei eisiau.

Egwyddorion allweddol

Allweddol, nid niferus. Mae KPI yn un o’r ychydig fetrigau rydych wedi’u dewis i lywio yn ôl, nid popeth y gallwch ei gasglu.
Mesuradwy, gweithredadwy, a pherchnogedig. Mae gan bob KPI un diffiniad manwl gywir, ffynhonnell wirionedd, perchennog, a lifer sy’n ei symud.
Iechyd, nid newid. Mae KPIs yn olrhain y cyflwr sefydlog rydych yn ei amddiffyn; mae OKRs (pennod 11.4) yn gyrru’r newid rydych ei eisiau.
Arweiniwch lle gallwch, cadarnhewch lle bo raid. Ffafriwch ddangosyddion arweiniol; defnyddiwch rai ôl-ddilynol i wirio.
Pwyswch tuag at ganlyniadau. Mae mewnbynnau ac allbynnau’n hawdd eu cyfrif; mae’r gwerth yn byw mewn canlyniadau.
Cymerwch yn ganiataol y bydd pob metrig yn cael ei chwarae. Cynlluniwch yn erbyn deddf Goodhart gyda chymarebau, cohortau, a chadwynau diogelwch pâr.
Gwrthodwch wagedd. Os na fyddai unrhyw ddarlleniad yn newid penderfyniad, addurn yw’r metrig.
Gweledoli’n onest. Dylai dangosfwrdd hysbysu mewn eiliadau heb gamarwain.

Argymhellion

Diffiniwch beth sy’n gwneud KPI yn “dda”

Mae KPI da’n pasio pedwar prawf. Mae’n aliniedig: mae’n olrhain yn ôl at nod a nodwyd, felly mae ei symud yn golygu rhywbeth. Mae’n fesuradwy: un diffiniad manwl gywir, ffynhonnell wirionedd (y system gofnod awdurdodol) a enwir, uned, a dull casglu, fel bod dau berson yn ei gyfrifo ar wahân yn cyrraedd yr un rhif. Mae’n weithredadwy: mae gan y tîm sy’n berchen arno lifrau sy’n ei symud mewn gwirionedd. Mae’n berchnogedig: mae un person neu dîm atebol yn berchen ar ei duedd, ei ddiffiniad, ac ansawdd ei ddata. Mae metrig sy’n methu unrhyw un o’r pedwar prawf yn ymgeisydd i’w ddileu, nid yn ymgeisydd am ddangosfwrdd. Rhifau yw’r rhan fwyaf o’r annibendod metrigau mewn sefydliadau mawr sy’n methu o leiaf dau o’r rhain ac na chawsant erioed eu hymddeol.

Dosberthwch fetrigau yn ôl amseriad ac yn ôl cadwyn gwerth

Mae dau lens yn cadw set KPI yn gytbwys. Y cyntaf yw amseriad. Mae dangosydd arweiniol yn rhagfynegol ac yn symudadwy nawr (cofrestriadau treial, cwblhau sefydlu); mae dangosydd ôl-ddilynol yn gadarnhaol ac yn araf (refeniw blynyddol, gostyngiad cwsmeriaid). Mae dangosyddion arweiniol yn caniatáu i chi lywio cyn i’r rhai ôl-ddilynol gyflwyno dyfarniad na allwch ei newid mwyach. Yr ail lens yw cadwyn gwerth. Mae metrig mewnbwn yn mesur ymdrech a wariwyd (oriau a weithiwyd, dollars a ddefnyddiwyd); mae metrig allbwn yn mesur beth a gynhyrchodd y system (nodweddion a ryddhawyd, tocynnau a gaewyd); mae metrig canlyniad yn mesur y newid a fynnwyd go iawn (refeniw a gadwyd, amser aros a leihawyd). Mae timau’n tueddu tuag at fewnbynnau ac allbynnau am eu bod yn hawdd eu cyfrif ac yn gyfan gwbl o fewn eu rheolaeth, ond mae’r gwerth yn byw mewn canlyniadau. Pwyswch eich set tuag at ganlyniadau, a thriniwch ddangosfwrdd sy’n gyfan gwbl o allbynnau fel arwydd rhybudd.

Cynlluniwch fetrigau sy’n gwrthsefyll chwarae

Cymerwch yn ganiataol ddeddf Goodhart: pan fydd mesur yn dod yn darged, mae’n peidio â bod yn fesur da. Cynlluniwch yn ei erbyn o’r cychwyn yn hytrach nag ymateb ar ôl i’r ystumiad ymddangos.

Ffafriwch gymarebau a chyfraddau dros gyfrifon crai. Mae “tocynnau a gaewyd” yn gwobrwyo cyfaint; mae “canran wedi’i datrys ar y cyswllt cyntaf” yn gwobrwyo datrysiad. Gellir chwarae cyfrif crai drwy wneud mwy o rywbeth diwerth.
Defnyddiwch gohortau. Grŵp a ddiffinnir gan bwynt cychwyn a rennir yw cohort (pob defnyddiwr a gofrestrodd ym mis Mawrth). Mae adrodd yn ôl cohort yn atal tuedd sy’n dirywio rhag cuddio y tu mewn i gyfanswm sy’n gwenieithu ac a gynhelir gan fis diweddar cryf.
Parwch bob KPI a gymhellir â chadwyn diogelwch. Metrig gwrthbwyso pâr sy’n gorfod peidio â dirywio tra rydych yn gwthio’r un cynradd yw metrig cadwyn diogelwch (guardrail): amser trin galwad wedi’i barau â bodlonrwydd cwsmer, actifadu wedi’i barau â llwyth cymorth. Mae’r cadwyn diogelwch yn gwneud twyllo’n weladwy gostus.

Gwrthodwch fetrigau gwagedd; mynnwch weithredadwyedd

Mae metrig gwagedd yn codi’n ddibynadwy, yn edrych yn drawiadol, ac yn newid dim penderfyniad: defnyddwyr cofrestredig cronnol, gwelediadau tudalen, llinellau o god. Mae’r arwyddion yn gyson. Nid yw byth ond yn codi. Cyfrif absoliwt ydyw yn hytrach na chyfradd. Ac nid oes ganddo ateb i’r cwestiwn “beth fyddem yn ei wneud yn wahanol pe bai’r rhif hwn yn dyblu?” Mewn cyferbyniad, mae metrig gweithredadwy yn clymu wrth ymddygiad penodol y gallwch ei ddylanwadu a phenderfyniad y byddai’n ei newid. Cyn i chi fabwysiadu unrhyw KPI, gofynnwch pa weithred y byddai darlleniad da a darlleniad gwael yn ei sbarduno. Os yw’r ddau ddarlleniad yn arwain at yr un ymddygiad, taflwch y metrig. Bydd y prawf hwn ar ei ben ei hun yn crebachu’r rhan fwyaf o ddangosfyrddau arfaethedig o’r hanner.

Adeiladwch goeden KPI o dan un metrig seren-y-gogledd

Peidiwch â holrhain KPIs fel rhestr wastad. Trefnwch nhw fel coeden KPI (neu goeden fetrig): metrig uchaf wedi’i dorri i lawr yn y metrigau sy’n ei yrru’n fathemategol neu’n achosol, lefel wrth lefel, i lawr at y mesurau gweithredol y mae timau unigol yn berchen arnynt. Mae’r goeden yn dweud wrthych pa fetrig is i’w ymchwilio pan fydd un uchaf yn symud, sy’n troi “mae’r rhif i lawr” yn “amser aros yr hyb hwn yw’r achos.” Ar y brig un, enwch un metrig seren-y-gogledd: y mesur sy’n dal orau y gwerth craidd a ddarperir i gwsmeriaid. I farchnad efallai mai trafodion a gwblhawyd; i gynnyrch, defnydd wythnosol gweithredol o’r nodwedd graidd. Mae seren-y-gogledd yn alinio ymdrech ac yn atal adrannau rhag optimeiddio rhifau lleol sy’n gwrthdaro, ond dim ond os yw’n mesur gwerth yn hytrach na gwagedd, a dim ond os yw cadwynau diogelwch yn ei gydbwyso. Os gallai eich metrig uchaf barhau i godi tra bo cwsmeriaid yn cael llai o werth, gwagedd wedi’i wisgo fel strategaeth ydyw.

Gosodwch linellau sylfaen, targedau, a throthwyon

Nid yw KPI heb bwynt cyfeirio ond yn rhif ar sgrin. Rhowch dri chyfeiriad i bob un. Llinell sylfaen yw’r gwerth cyfredol neu hanesyddol, fel bod newid yn ystyrlon yn hytrach na dirgel. Targed yw’r gwerth rydych yn bwriadu ei gyrraedd, gyda dyddiad. Mae trothwyon yn sbarduno gweithred cyn i darged gael ei ennill neu ei golli: mae trothwy rhybudd yn ysgogi sylw, ac mae trothwy critigol yn ysgogi ymyrraeth. Seiliwch dargedau mewn tystiolaeth (tuedd yn y gorffennol, meincnod allanol, neu fodel capasiti) yn hytrach na optimistiaeth rhif crwn, ac ysgrifennwch y rhesymeg i lawr. Rhesymeg wedi’i chofnodi yw’r hyn sy’n gadael i fethiant eich dysgu rhywbeth yn lle eich siomi’n unig, oherwydd gallwch gymharu’r hyn a ddigwyddodd yn erbyn y rhagdybiaeth a osododd y targed.

Gweledolwch yn onest ar ddangosfyrddau

Dylai dangosfwrdd KPI ganiatáu i ddarllenydd amgyffred statws a thuedd mewn eiliadau heb gael ei gamarwain. Dangoswch duedd dros amser, nid un cipolwg unig. Dechreuwch echelinau gwerth ar sero oni bai bod gennych reswm penodedig i beidio, oherwydd mae echelinau wedi’u torri’n gorbwysleisio newidiadau bach yn rhai dramatig. Dangoswch amrywiad ac ansicrwydd yn hytrach na manwl gywirdeb ffug. Anodwch gyd-destun fel y gall darllenydd wahaniaethu rhwng shifft go iawn a sŵn: defnyddiadau, digwyddiadau, tymhoroldeb, newidiadau polisi. Osgowch y triciau siart sy’n gwenieithu rhif: echelinau deuol sy’n awgrymu cydberthynas, ystodau dyddiad wedi’u dewis yn ddetholus, ac effeithiau 3-D sy’n ystumio cyfrannedd. Mae’r arferion hyn yn cysylltu’n uniongyrchol â dadansoddeg a deallusrwydd busnes (pennod 7.3) ac â dadansoddeg cynnyrch ac arbrofi (pennod 7.4), lle mae’r un safonau gonestrwydd yn llywodraethu sut rydych yn darllen yr hyn y mae metrig yn ei ddweud wrthych.

Mabwysiadwch eirfaoedd KPI gweithredol

Mae gan iechyd gweithredol eirfaoedd KPI sefydledig y dylech eu hailddefnyddio yn hytrach na’u hailddyfeisio. O beirianneg dibynadwyedd safle (pennod 9.1): mae dangosydd lefel gwasanaeth (SLI) yn signal mesuredig o iechyd gwasanaeth (oedi, cyfradd llwyddiant); mae amcan lefel gwasanaeth (SLO) yn ystod darged ar gyfer SLI (99.9% o geisiadau’n llwyddo); a’r gyllideb wall yw’r diffyg caniateir (y 0.1% y cewch ei wario ar risg cyn i chi stopio rhyddhau a sefydlogi). O’r biblinell draddodi (pennod 11.2): mae metrigau llif yn olrhain gwaith drwy’r system (amser llif, trwybwn, gwaith ar y gweill, effeithlonrwydd llif), ac mae’r pedwar metrig o raglen DevOps Research and Assessment (DORA) yn parau cyflymder â sefydlogrwydd: amlder defnyddio, amser arwain ar gyfer newidiadau, cyfradd methiant newid, ac amser i adfer gwasanaeth. Mae’r ddwy eirfa’n gosod cyflymder wrth ochr sefydlogrwydd yn fwriadol, fel na all unrhyw dîm bostio rhif cyflymder gwych drwy aberthu dibynadwyedd yn dawel. Mae’r un KPIs gweithredol hyn yn bwydo gwaith effeithiolrwydd peirianneg a chynhyrchedd datblygwyr (pennod 1.10).

Bodlonwch ddyletswyddau adrodd perfformiad sector cyhoeddus

Mae llywodraeth yn ychwanegu gofyniad gwahanol: mae KPIs yn aml yn fesurau perfformiad a gyhoeddir ac a adroddir i ddeddfwrfeydd, cyrff goruchwylio, a’r cyhoedd, weithiau dan statud. Triniwch y rhain â thrylwyredd ychwanegol. Cadwch y diffiniad yn sefydlog ar draws cyfnodau adrodd, fel bod tuedd yn wirioneddol gymharadwy o flwyddyn i flwyddyn. Dogfennwch y fethodoleg a ffynhonnell y data. Byddwch yn onest am gyfyngiadau. Am fod mesur a gyhoeddir yn creu cymhellion cryf, mae’n arbennig o dueddol i ystumiad Goodhart: caiff targed i leihau rhestr aros ei fodloni drwy ail-ddiffinio pwy sy’n cyfrif fel un sy’n aros. Parwch bob mesur a gyhoeddir â chadwynau diogelwch, ac archwiliwch y diffiniad ei hun, nid dim ond y rhif. Yn aml, y cwestiwn pwysicaf am KPI cyhoeddus nid yw “a wellodd?” ond “a yw’n dal i fesur yr hyn a honnodd ei fesur?”

Cyfaddawdau: manteision ac anfanteision

Dewis	Manteision	Anfanteision
Metrigau canlyniad	Alinio ymdrech ag effaith go iawn; anodd eu chwarae	Anodd eu diffinio; araf, swnllyd; anodd priodoli
Metrigau mewnbwn/allbwn	Hawdd eu mesur; perchnogaeth glir; adborth cyflym	Gwobrwyo gweithgarwch dros effaith; cyswllt gwan â gwerth
Dangosyddion arweiniol	Yn caniatáu i chi lywio’n gynnar	Rhagfynegol, felly’n fwy swnllyd ac yn llai sicr
Dangosyddion ôl-ddilynol	Cadarnhad awdurdodol	Yn cyrraedd yn rhy hwyr i newid y canlyniad
Ychydig o KPIs	Ffocws, eglurder, hawdd cyfathrebu	Gallai golli dimensiynau; mannau dall
Llawer o KPIs	Sylw eang; llai o synnau	Sylw wedi’i wanhau; blinder dangosfwrdd; signalau gwrthdrawiadol
Adrodd perfformiad cyhoeddus	Atebolrwydd, tryloywder, ymddiriedaeth	Pwysau chwarae cryf; diffiniadau’n dod yn wleidyddol

Y tyndra canolog yw ffocws yn erbyn sylw, wedi’i finiogi gan gymhelliant yn erbyn ystumiad. Rydych am gael digon o fesurau i weld y darlun cyfan, ychydig ddigon fel y gall tîm weithredu mewn gwirionedd arnynt, a phob un wedi’i warchod fel na fydd y weithred o’i gymell yn ei lygru. Datryswch y tyndra drwy gadw set fach o KPIs a berchnogir, wedi’u pwyso tuag at ganlyniadau, wedi’u trefnu mewn coeden o dan un metrig seren-y-gogledd, a thrwy barau pob mesur a gymhellir â chadwyn diogelwch. Yna daw sylw o strwythur y goeden yn hytrach nag o nifer noeth y metrigau ar y sgrin.

Cwestiynau i’w trafod gyda’ch tîm

A oes gennych un metrig seren-y-gogledd, ac a yw’n mesur gwerth a ddarparwyd neu ddim ond gweithgarwch? Mae rhestr wastad o KPIs yn caniatáu i adrannau optimeiddio rhifau lleol sy’n gwrthdaro, tra bo seren-y-gogledd yn alinio pawb ar y gwerth y mae cwsmeriaid yn ei dderbyn go iawn: trafodion a gwblhawyd i farchnad, actifadu i gynnyrch. Gofynnwch a fyddai eich metrig uchaf yn parhau i godi pe bai cwsmeriaid yn cael llai o werth, oherwydd os gall, gwagedd wedi’i wisgo fel strategaeth ydyw. Mewn sefydliad mawr, seren-y-gogledd yw’r hyn sy’n atal buddugoliaeth un tîm rhag bod yn golled i dîm arall, felly mae’n rhaid iddi eistedd ar frig coeden KPI o fesurau gweithredol y mae timau’n eu rheoli. Dewch â’ch metrig llinell-uchaf cyfredol a cheisiwch ei olrhain i lawr at yr hyn y mae pob tîm yn berchen arno. Os nad yw’r goeden yn cysylltu, addurn yw’r seren-y-gogledd yn hytrach na mecanwaith llywio.
Ar gyfer pob KPI a gymhellir, beth yw’r ffordd rataf o’i chwarae, a pha gadwyn diogelwch fyddai’n datgelu’r twyllo hwnnw? Mae pob metrig y byddwch yn cysylltu gwobr neu enw da ag ef yn gwahodd optimeiddio’r rhif yn hytrach na’r canlyniad, a’r llwybr rhataf yw’r un annisgwyl yn aml. Eisteddwch i lawr a, ar gyfer pob KPI, cynlluniwch y ecsbloetiad yn fwriadol: sut fyddai tîm rhesymegol yn gwneud i’r rhif hwn edrych yn dda tra’n gwneud llai o’r hyn rydych ei eisiau mewn gwirionedd? Yna enwch y gwrth-fetrig a fyddai’n ei ddal (amser trin wedi’i barau â bodlonrwydd, actifadu wedi’i barau â thocynnau cymorth, cyflymder wedi’i barau â chyfradd gwall). Mae’r ymarfer hwn yn bwysicaf ar gyfer y metrigau rydych yn eu hadrodd i fyny neu’n eu cyhoeddi, oherwydd mae’r rheini’n cario’r cymhellion cryfaf ac felly’r pwysau ystumio cryfaf. Os na allwch enwi cadwyn diogelwch ar gyfer KPI, dydych chi ddim yn barod i’w gymell eto.
A yw eich targedau wedi’u seilio mewn tystiolaeth, ac a wnaethoch ysgrifennu’r rhesymeg y tu ôl i bob un i lawr? Nid yw KPI heb linell sylfaen ond yn rhif, ac ni ellir dehongli targed a osodwyd ar ffigwr crwn am ei fod yn swnio’n uchelgeisiol pan fyddwch yn ei golli. Ar gyfer pob KPI, gwiriwch ei fod yn cario llinell sylfaen, targed gyda dyddiad, trothwyon rhybudd a chritigol, a rhesymeg gofnodedig wedi’i thynnu o duedd yn y gorffennol, meincnod, neu fodel capasiti. Mae hyn bwysicaf ar gyfer mesurau sy’n cario pwysau statudol neu gontractiol, lle mae angen i “dalu 90% o hawliadau dilys o fewn 21 diwrnod” fod yn amddiffynadwy yn hytrach na dyfaliad dyheadol. Dewch â’ch targedau cyfredol a gofynnwch, ar gyfer pob un, “pam y rhif hwn ac nid un uwch neu is?” Os yw’r ateb yn ddistawrwydd, optimistiaeth oedd y targed, ac ni fydd methiant yn eich dysgu dim.
Pe byddech yn gorfod amddiffyn pob metrig ar eich prif ddangosfwrdd, pa rai fyddai’n goroesi, a beth mae pob un heb ei ddefnyddio’n ei gostio i chi? Mae gan bob KPI gost gyson: offeryniad a phiblinellau, teil dangosfwrdd, cyfarfodydd adolygu i’w drafod, a llwyth meddyliol un peth arall i’w wylio, felly mae set a dyfodd drwy gasgliad yn trethu’r sefydliad yn dawel heb i neb benderfynu y dylai wneud hynny. Y tyndra yw ffocws yn erbyn sylw: rhy ychydig o fetrigau a byddwch yn datblygu mannau dall, rhy niferus ac ni all unrhyw dîm weithredu ar unrhyw un ohonynt. Dewch â’r rhestr lawn a, ar gyfer pob metrig, atebwch pa benderfyniad y byddai darlleniad da neu wael yn ei sbarduno; addurn ydych yn talu i’w gynnal yw’r rhai heb ateb. I fenter gyda dwsinau o ddangosfyrddau tîm, neu gorff llywodraethol sy’n adrodd yn erbyn fframwaith statudol, mae disgyblaeth ymddeol metrigau’n bwysig gymaint ag ychwanegu atynt, oherwydd mae mesur a gyhoeddwyd heb ei ddefnyddio’n dal i wahodd chwarae ac yn dal i orfod cael ei amddiffyn dan archwiliad.
Pa gyfran o’ch dangosfwrdd sy’n mesur y canlyniad roeddech ei eisiau go iawn, yn hytrach na’r ymdrech a wariwyd neu’r allbwn a gynhyrchwyd? Mae timau’n crwydro tuag at fewnbynnau ac allbynnau am eu bod yn hawdd eu cyfrif ac yn eistedd yn gyfan gwbl o fewn rheolaeth tîm, ac eto mae’r gwerth yn byw mewn canlyniadau, sy’n arafach, yn swnllyd, ac yn anos eu priodoli. Cyfrifwch y teils: os yw dangosfwrdd bron yn gyfan gwbl o nodweddion a ryddhawyd a thocynnau a gaewyd ac oriau a gofnodwyd, mae’n mesur gweithgarwch ac yn ei alw’n berfformiad. Dewch â phob metrig wedi’i ddosbarthu fel mewnbwn, allbwn, neu ganlyniad, a byddwch yn onest ynghylch pa benderfyniadau fyddai’n newid pe bai dim ond y canlyniad yn symud. Mewn sefydliad mawr, dyma lle mae optimeiddio lleol yn cuddio, oherwydd gall is-adran bostio rhifau allbwn rhagorol am flynyddoedd tra bo’r canlyniad y mae’r ariannwr yn poeni amdano, refeniw a gadwyd neu amser aros a leihawyd, yn erydu’n dawel; mewn llywodraeth mae adroddiad allbwn-yn-unig (“modiwlau a ddarparwyd”) yn union yr ateb y mae cyrff goruchwylio wedi dysgu peidio ag ymddiried ynddo.
Ar gyfer pob KPI, pwy sy’n berchen ar ei ddiffiniad a’i ffynhonnell wirionedd, ac a fyddai dau dîm yn ei gyfrifo’n annibynnol yn cyrraedd yr un rhif? Mae metrig heb un perchennog atebol ac un system gofnod awdurdodol yn dod yn ddadl sefydlog, wrth i ddau grŵp adrodd “defnyddwyr gweithredol” o ymholiadau gwahanol a threulio’r cyfarfod yn cysoni rhifau yn hytrach na rheoli’r duedd. Y tyniad cystadleuol yw ymreolaeth yn erbyn cysondeb, gan fod timau eisiau offeryniad eu ffordd eu hunain, ond ni all KPI sy’n golygu pethau gwahanol mewn ystafelloedd gwahanol rolio i mewn i seren-y-gogledd a rennir. Dewch â’r diffiniad, yr uned, y ffynhonnell wirionedd, a’r perchennog a enwir ar gyfer pob metrig, a phrofwch ychydig drwy gael dau berson yn eu cyfrifo’n oer. I fentrau sy’n rholio metrigau i fyny ar draws unedau busnes, ac ar gyfer mesurau llywodraethol a gedwir yn sefydlog ar draws cyfnodau adrodd yn statudol, nid niwsans yw diffiniad sy’n crwydro neu’n ddadleuol, dyma’r methiant sy’n gwneud adroddiad perfformiad cyfan yn anamddiffynadwy.

Trwy lens sector

Cwmni newydd. Gyda llond dwrn o bobl ac ychydig o le anadlu, dylai dangosfwrdd eich cwmni cyfan ffitio ar un sgrin: un metrig seren-y-gogledd sy’n mesur a yw cwsmeriaid yn parhau i gael gwerth, ei ddau neu dri gyrrwr, ac un cadwyn diogelwch. Ymddeolwch gyfrifon gwagedd fel cofrestriadau cronnol yn gynnar, cyn iddynt lywio penderfyniadau, a chohortiwch y seren-y-gogledd yn ôl wythnos gofrestru fel na all lansiad cryf guddio’r gostyngiad cwsmeriaid oddi tano. Mae cyflymder yn bwysicach na set fetrig gyfoethog, felly offeryniwch ddim ond yr ychydig rifau y byddwch yn gweithredu arnynt go iawn a hepgorwch y gweddill.

Busnes bach. Mae’n debyg nad oes gennych ddadansoddwr na dim amser i adeiladu piblinellau, felly pwyswch ar yr eirfaoedd KPI sydd eisoes wedi’u pobi i mewn i’r offer sydd gennych eisoes: y dangosfyrddau yn eich meddalwedd pwynt gwerthu, cymorth, neu gyfrifyddu. Dewiswch ddau neu dri mesur sy’n mapio i oroesiad (cyfradd prynu ailadroddus, dyddiau arian parod wrth law, cyflawni prydlon) a rhowch linell sylfaen a tharged i bob un yn hytrach na gwylio cyfrifon crai’n crwydro. Ffafriwch gymarebau y gallwch eu darllen ar gip dros adroddiadau y mae’n rhaid i chi eu casglu â llaw.

Menter. Y broblem yw dwsinau o dimau’n optimeiddio rhifau lleol sy’n gwrthdaro, felly’r gwaith yw coeden KPI o dan un seren-y-gogledd, diffiniadau manwl gywir gyda ffynhonnell wirionedd a enwir, a chadwyn diogelwch ar bob mesur a gymhellir. Safonwch ddiffiniadau fel bod metrig yn rholio i fyny’n lân ar draws unedau busnes, integreiddiwch SLIs gweithredol, SLOs, a metrigau DORA â’r KPIs busnes, a llywodraethwch y set fel portffolio a docir, nid dim ond a dyfir. Archwiliwch ddiffiniadau, nid dim ond rhifau, oherwydd ar raddfa mae metrig a ail-ddiffiniwyd yn dawel yn camarwain miloedd o bobl ar unwaith.

Llywodraeth. Mae KPIs yn aml yn fesurau perfformiad a gyhoeddir ac a adroddir i ddeddfwrfeydd dan statud, felly cadwch bob diffiniad yn sefydlog ar draws cyfnodau, dogfennwch y fethodoleg a ffynhonnell y data, a byddwch yn onest am gyfyngiadau. Mae targedau a gyhoeddir yn cario’r pwysau chwarae cryfaf, felly parwch bob un â chadwynau diogelwch a chomisiynwch archwiliad annibynnol o’r diffiniad ei hun, gan gadarnhau (er enghraifft) nad yw hawlwyr sy’n dal i aros yn cael eu hail-ddosbarthu allan o’r cyfrif. Diffiniwch lwyddiant fel canlyniadau dinasyddion yn hytrach na modiwlau a ddarparwyd, oherwydd nid yw “gwnaethom ddarparu’r datganiad gwaith” yn ateb i ddeddfwrfa sy’n gofyn a wellodd amseroedd aros neu dwyll go iawn.

Enghreifftiau

Cwmni newydd. Mae cwmni newydd chwe pherson sy’n gwneud ap cynhyrchedd yn dathlu siart “cyfanswm defnyddwyr cofrestredig” sy’n codi nes i aelod bwrdd ofyn a yw unrhyw un mewn gwirionedd yn parhau i ddefnyddio’r cynnyrch. Maen nhw’n ymddeol y cyfrif gwagedd hwnnw ac yn mabwysiadu actifadu 7-diwrnod fel eu metrig seren-y-gogledd, wedi’i gohortio yn ôl wythnos gofrestru fel na all lansiad cryf guddio’r gostyngiad cwsmeriaid oddi tano. Maen nhw’n rhoi llinell sylfaen (25%), targed (45%), a throthwyon rhybudd a chritigol iddo, ac maen nhw’n ei barau â chadwyn diogelwch (tocynnau cymorth fesul defnyddiwr gweithredol) fel na allant chwyddo actifadu â llif sefydlu gormesol. Mae dangosfwrdd y cwmni cyfan yn ffitio ar un sgrin: y seren-y-gogledd, ei ddau yrrwr, a’r cadwyn diogelwch. Pan fydd y KPI yn tueddu tuag at y trothwy rhybudd, maen nhw’n gwybod o’r goeden pa yrrwr i’w ymchwilio gyntaf.

Menter. Mae cwmni logisteg byd-eang yn mabwysiadu cyfradd traddodi prydlon fel ei fetrig seren-y-gogledd ac yn adeiladu coeden KPI oddi tano: prydlondeb casglu, amser aros hwb, a llwyddiant y filltir olaf, pob un yn eiddo i arweinydd rhanbarthol a enwir gyda llinell sylfaen, targed, a throthwyon rhybudd a chritigol. Mae pob KPI cyflymder wedi’i barau â chadwyn diogelwch, fel bod cyfradd prydlondeb yn teithio â chyfradd difrod ac ni all unrhyw ranbarth daro ei rif drwy ruthro parseli i mewn i dorri. Mae SLOs platfform (99.95% argaeledd API olrhain, pennod 9.1) a metrigau DORA (pennod 11.2) yn eistedd ar y dangosfwrdd peirianneg wrth ochr y KPIs busnes. Pan fydd cyfradd prydlondeb yn gostwng tuag at ei drothwy rhybudd mewn un rhanbarth, mae’r goeden yn nodi amser aros yr hwb hwnnw fel yr achos, ac mae’r ateb yn dargedig yn hytrach na sgrialu cwmni-gyfan. Mae’r metrigau y mae’r tîm yn penderfynu eu symud y chwarter hwn yn dod yn ganlyniadau allweddol yn OKRs y tîm hwnnw (pennod 11.4); mae’r gweddill yn aros yn gadwynau diogelwch sefydlog.

Llywodraeth. Mae asiantaeth yswiriant diweithdra talaith yn adrodd nifer canolrifol o ddyddiau o hawliad i daliad cyntaf fel ei mesur perfformiad a gyhoeddir, wedi’i gohortio yn ôl mis hawliad fel na all chwarter da guddio ôl-groniad sy’n gwaethygu, yn hytrach na chyfrif gwagedd “hawliadau a broseswyd.” Mae’n parau’r mesur hwnnw â chadwynau diogelwch (cywirdeb taliad a chyfradd gwyrdroi apêl) fel na ellir prynu cyflymder â chamgymeriadau. Mae diffiniad “dyddiau canolrifol” wedi’i rewi ar draws blynyddoedd ac wedi’i ddogfennu’n gyhoeddus, ac mae archwiliad annibynnol yn gwirio’r diffiniad ei hun, gan gadarnhau nad yw hawlwyr sy’n dal i aros yn cael eu hail-ddosbarthu allan o’r cyfrif yn dawel. Mae SLIs rheng flaen (amser gweithredu porth, cyfradd ateb galwadau) yn bwydo’r dangosfwrdd gweithredol o dan y mesurau a gyhoeddir. Am fod llwyddiant wedi’i ddiffinio fel canlyniadau hawlwyr yn hytrach na modiwlau a ddarparwyd, gall yr asiantaeth ddangos i’w deddfwrfa werth cyhoeddus mesuradwy sy’n goroesi craffu.

Achos busnes: cymhellion, ROI, a TCO

Daw’r enillion ar KPI da o ffocws ac aliniad, sy’n osgoi’r gost gudd fwyaf mewn sefydliadau mawr: llawer o dimau’n gweithio’n galed, mewn pryd, ar bethau nad ydynt yn hyrwyddo strategaeth. Pan fydd y set fach o fesurau sy’n bwysig yn eglur ac yn weladwy, mae ymdrech ddyblyg yn dod i’r wyneb, mae nodau lleol gwrthddweud yn cael eu cysoni cyn iddynt wrthdaro, ac mae gwaith gwerth isel yn colli ei orchudd. Adnodd drutaf sefydliad mawr yw sylw aliniedig ei bobl, a’r enillion trechol ar KPIs yw capasiti a gyfeiriwyd o’r newydd.

Nid y dangosfwrdd yw cost y KPI anghywir. Chwarteri o ymdrech yn optimeiddio rhif tra bo’r canlyniad go iawn yn erydu ydyw, ynghyd â chost datod yr ymddygiad a chwaraewyd wedyn. Cynhyrchodd canolfan alwadau a dreuliodd flwyddyn yn lleihau amser trin tra’n mwyafu cysylltiadau ailadroddus enillion negyddol yn gyfan gwbl drwy un metrig â bwriadau da, ac wedyn bu’n rhaid iddi ailadeiladu’r broses ac ymddiriedaeth y staff.

Mae cyfanswm cost perchnogaeth (TCO) KPI yn gymedrol ond yn real ac yn gyson. Mae gan bob metrig gost barhaus: offeryniad a phiblinellau i’w gasglu, dangosfyrddau i’w ddangos, cyfarfodydd adolygu i’w drafod, a llwyth meddyliol un peth arall i’w wylio. Y gost gyson honno yw’r ddadl gryfaf dros set fach lle mae pob KPI yn ennill ei le, oherwydd mae metrig heb ei ddefnyddio’n dal i gostio arian i’w gynnal. Cadwch y set yn fach, y diffiniadau’n fanwl gywir, a’r cadwynau diogelwch ar waith, a bydd eich KPIs yn talu’n ôl eu llwyth uwchben lawer gwaith mewn camgyfeiriad a osgoir.

Gwrth-batrymau a phethau i’w hosgoi

Metrigau gwagedd: cyfrifon cronnol sy’n codi’n unig ac nad ydynt yn newid dim penderfyniad.
Sefydlogiad metrig: mae ymddygiad yn optimeiddio’r rhif, nid y canlyniad, am nad oes cadwyn diogelwch yn datgelu’r bwlch.
KPIs heb eu perchnogi neu wedi’u diffinio’n wael: dim person atebol, neu ddau dîm yn cyfrifo “defnyddiwr gweithredol” yn wahanol ac yn dadlau yn lle rheoli.
Dangosfyrddau allbwn-yn-unig: popeth a fesurir yw’r hyn a gynhyrchodd y tîm; nid oes dim yn mesur y newid a achosodd.
Rhestr wastad heb goeden: dwsinau o fesuryddion a dim seren-y-gogledd, felly nid yw rhif sy’n symud yn rhoi unrhyw gliw i le i edrych.
Targedau rhif crwn heb reswm: nod a ddewiswyd am ei fod yn swnio’n feiddgar, yn amhosibl ei ddehongli pan gollir ef.
Siartiau anonest: echelinau wedi’u torri neu ddeuol, ffenestri wedi’u dewis yn ddetholus, ac effeithiau 3-D sy’n gweithgynhyrchu stori.
Mesurau a gyhoeddir wedi’u chwarae drwy ail-ddiffinio: targed rhestr aros wedi’i fodloni drwy newid pwy sy’n cyfrif fel un sy’n aros.
Drysu KPIs ag OKRs: trin metrig iechyd sefydlog fel nod newid chwarterol, neu i’r gwrthwyneb (pennod 11.4).

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae metrigau’n bennaf yn gyfrifon gwagedd heb linellau sylfaen, targedau, perchnogion, na diffiniadau a rennir. Mae dangosfyrddau’n dangos cipluniau heb duedd, mae adrodd yn adweithiol ac achlysurol, ac ni all neb ddweud pa rif sy’n bwysicaf.
Lefel 2, Datblygu: Mae KPIs yn bodoli ar gyfer rhai timau gyda llinellau sylfaen a thargedau, ond maen nhw’n bennaf yn allbynnau, mae diffiniadau’n amrywio rhwng timau, ac mae cadwynau diogelwch yn absennol. Mae’r arfer yn anghyson ar draws y sefydliad, ac mae chwarae’n ymddangos ac yn mynd heb ei adnabod fel chwarae.
Lefel 3, Safoni: Mae gan set KPI gydlynol, wedi’i pherchnogi ddiffiniadau manwl gywir a ffynhonnell wirionedd a enwir, wedi’u dogfennu a’u gorfodi ar draws y sefydliad. Mae metrigau wedi’u dosbarthu fel arweiniol neu ôl-ddilynol a mewnbwn, allbwn, neu ganlyniad; mae mesurau a gymhellir wedi’u parau â chadwynau diogelwch; ac mae siartiau’n dilyn safonau gweledoli gonest ym mhob tîm.
Lefel 4, Rheoli: Mesurir a rheolir y set KPI ei hun yn erbyn llinellau sylfaen. Olrheinir cywirdeb diffiniad, cyfraddau gwall ansawdd data, a pha mor aml y caiff pob metrig ei chwarae dros amser; adolygir targedau yn erbyn tystiolaeth bob cylch; mae trothwyon rhybudd a chritigol yn sbarduno ymyriadau wedi’u dogfennu; ac archwilir diffiniadau fel bod mesur a gyhoeddwyd yn dal i fesur yr hyn a honnodd. Monitrir effeithiau Goodhart yn fwriadol yn hytrach na’u darganfod ar ôl y difrod.
Lefel 5, Cydgordio: Mae coeden KPI yn clymu mesurau rheng flaen wrth un metrig seren-y-gogledd; mae metrigau canlyniad yn dominyddu’r set; ac mae SLIs, SLOs, a metrigau DORA a llif gweithredol yn integreiddio â KPIs busnes. Mae’r metrigau y mae tîm yn dewis eu symud yn bwydo’n lân i mewn i’w OKRs (pennod 11.4), ac mae’r sefydliad yn barhaus yn ymddeol, yn disodli, ac yn ail-gwmpasu KPIs wrth i strategaeth a’r darlun risg newid.

Syniadau i’w trafod

Pa rai o’ch KPIs fyddai’n parhau i godi hyd yn oed pe bai’r cynnyrch neu’r gwasanaeth yn gwaethygu?
Ar gyfer pob KPI a gymhellir, beth yw’r ffordd rataf o’i chwarae, a pha gadwyn diogelwch fyddai’n datgelu’r twyllo hwnnw?
Faint o’ch metrigau dangosfwrdd sy’n ganlyniadau, a faint sy’n fewnbynnau neu’n allbynnau rydych yn eu cyfrif am eu bod yn hawdd?
Pa rai o’ch metrigau sydd heb berchennog neu ddiffiniad unedig y cytunwyd arno, a beth mae’r amwysedd hwnnw wedi’i gostio i chi mewn dadleuon?
Ar gyfer mesur rydych yn ei adrodd neu’n ei gyhoeddi, a ellid bodloni’r targed drwy ail-ddiffinio’r mesur yn hytrach na gwella’r canlyniad?
Pe byddech yn gorfod torri eich dangosfwrdd i bum metrig, pa rai fyddai’n goroesi, ac a yw seren-y-gogledd yn eistedd ar frig y pump hynny?

Casgliadau allweddol

Mae KPI yn fetrig a ddewiswyd am ei fod yn adlewyrchu nod rydych ei eisiau amddiffyn; mae un da’n aliniedig, fesuradwy, weithredadwy, a berchnogedig.
OKRs yw’r newid rydych ei eisiau; KPIs yw’r iechyd rydych yn ei gynnal. Am OKRs, rhythm, a graddio, gweler pennod 11.4.
Dosberthwch fetrigau fel arweiniol neu ôl-ddilynol a mewnbwn, allbwn, neu ganlyniad, a phwyswch eich set tuag at ganlyniadau.
Cymerwch yn ganiataol ddeddf Goodhart: parwch bob KPI a gymhellir â chadwyn diogelwch, a ffafriwch gymarebau a chohortau dros gyfrifon crai.
Gwrthodwch fetrigau gwagedd; trefnwch KPIs mewn coeden o dan un metrig seren-y-gogledd; rhowch linell sylfaen, targed, a throthwyon i bob un.
Gweledolwch yn onest (penodau 7.3 a 7.4), ac ailddefnyddiwch eirfaoedd gweithredol: SLIs, SLOs, a chyllidebau gwall (pennod 9.1) a metrigau DORA a llif (pennod 11.2).
Mewn llywodraeth, triniwch fesurau a gyhoeddir â thrylwyredd diffiniadol ychwanegol ac archwiliwch y diffiniad, nid dim ond y rhif.

Cyfeiriadau a darllen pellach

Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, by David Parmenter (a practical framework for selecting and structuring KPIs).
Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (vanity versus actionable metrics, and the One Metric That Matters).
The Lean Startup, by Eric Ries (actionable versus vanity metrics, and cohort analysis).
How to Measure Anything, by Douglas W. Hubbard (defining and quantifying the seemingly unmeasurable).
The Visual Display of Quantitative Information, by Edward R. Tufte (honest, high-integrity data graphics).
Site Reliability Engineering, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds. (SLIs, SLOs, and error budgets).
Accelerate, by Nicole Forsgren, Jez Humble, and Gene Kim (the DORA delivery and stability metrics).
Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): the origin of Goodhart’s law; see also Marilyn Strathern’s widely quoted formulation.
U.S. Government Accountability Office (GAO) guidance on performance measurement and the GPRA Modernization Act: public-sector performance-reporting practice.