1.10 Effeithiolrwydd peirianneg a chynhyrchedd datblygwyr

Trosolwg a chymhelliant

Yn hwyr neu’n hwyrach, mae pob arweinydd sefydliad meddalwedd mawr yn gofyn fersiwn o’r un cwestiwn: a ydym yn gwella wrth adeiladu meddalwedd, a sut y byddem yn gwybod? Mae’r bennod hon am ateb hynny’n onest. Effeithiolrwydd peirianneg yw pa mor dda mae eich sefydliad yn troi ymdrech beirianneg yn feddalwedd werthfawr, ddibynadwy. Cynhyrchedd datblygwyr yw ochr yr unigolyn a’r tîm o hynny: faint o allbwn defnyddiol y gall datblygwr ei gynhyrchu, a faint o’u hamser a’u sylw y mae’r amgylchedd gwaith yn ei roi’n ôl iddynt yn hytrach na’i gymryd.

Mae’r drafferth yn dechrau’r eiliad y bydd rhywun yn ceisio lleihau hyn i un rhif. Cyfrwch linellau cod, a bydd pobl yn ysgrifennu mwy o god. Cyfrwch bwyntiau stori, a bydd amcangyfrifon yn chwyddo. Cyfrwch gyflwyniadau (commits), ceisiadau tynnu, neu oriau wrth y ddesg, ac rydych yn gwobrwyo symudiad yn hytrach na chynnydd. Nid cyfrif teclynnau yw cynhyrchedd gweithiwr gwybodaeth. Mae datblygwr sy’n dileu deng mil o linellau o god marw, neu sy’n treulio diwrnod yn paru fel bod cydweithiwr yn osgoi toriad mewn cynhyrchiad, wedi gwneud gwaith rhagorol nad yw’r un fetrig naïf yn ei gasglu. Mae’r ateb gonest i “pa mor gynhyrchiol ydym ni?” yn amlddimensiwn, ac mae’n trin profiad y datblygwr o’r gwaith fel signal go iawn yn hytrach nag un meddal.

Mae hyn yn bwysicach, nid yn llai pwysig, wrth i chi raddio. Mewn menter gyda dwsinau o dimau, mae symiau bach o ffrithiant (adeiladu araf, cyfres brofion ansefydlog, aros deuddydd am amgylchedd) yn lluosi ar draws cannoedd o beirianwyr yn gapasiti enfawr a gollir. Mewn llywodraeth, lle nad oes pris marchnad ar allbwn, y risg yw “theatr allbwn”: mesur dogfennau a gynhyrchwyd neu docynnau a gaewyd tra bo gwerth cyhoeddus yn mynd heb ei fesur. Nod y bennod hon yw eich helpu i fesur a gwella effeithiolrwydd y sefydliad peirianneg a phrofiad dyddiol ei ddatblygwyr, heb dwyllo, gwylio, na graddio pobl yn erbyn ei gilydd.

Egwyddorion allweddol

Mae cynhyrchedd yn amlddimensiwn. Nid oes unrhyw un rhif yn ei gasglu. Mae unrhyw fetrig a gynigir fel y mesur yn anghywir.
Mesurwch i ddileu ffrithiant, nid i raddio pobl. Testun y mesur yw’r system, nid yr unigolyn.
Triongli. Cyfunwch sut mae datblygwyr yn dweud y mae’r gwaith yn teimlo â’r hyn y mae’r systemau’n ei gofnodi mewn gwirionedd.
Mae profiad y datblygwr yn ddata. Mae dolenni adborth, llwyth gwybyddol, a llif yn fesuradwy ac yn werth eu gwella.
Tybiwch y bydd pob metrig yn cael ei thwyllo. Cynlluniwch yn erbyn cyfraith Goodhart gyda sawl dimensiwn a bwriad gonest.
Cysylltwch â chanlyniadau, yn ofalus. Dylai effeithiolrwydd ysgolio i fyny at werth busnes heb ddod yn darged sy’n llygru.

Argymhellion

Gwrthodwch y trap un-fetrig

Y ddisgyblaeth gyntaf yw gwrthod enwi un rhif fel cynhyrchedd. Mae llinellau cod, cyfrifon cyflwyniadau, cyflymder pwyntiau stori, ac oriau a gofnodwyd i gyd yn rhannu diffyg angheuol: maent yn mesur gweithgarwch, nid gwerth, ac mae gweithgarwch yn ddibwys i’w chwyddo. Dyma gyfraith Goodhart ar waith, yr egwyddor bod mesur, pan ddaw’n darged, yn peidio â bod yn fesur da. Dyfeisiwyd cyflymder fel cymorth rhagolwg tîm ei hun; yr eiliad y bydd rheolwr yn cymharu pwyntiau un tîm â phwyntiau un arall, mae timau’n ail-raddio eu hamcangyfrifon yn dawel ac mae’r rhif yn dod yn ystyrlai. Pan fydd rhywun yn mynnu un KPI cynhyrchedd, triniwch ef fel cais y mae’n rhaid i chi ei ail-lunio, nid ei fodloni. Cynigiwch set fach gytbwys yn lle hynny, ac esboniwch pam y byddai un rhif yn eu camarwain.

Defnyddiwch SPACE i strwythuro’r hyn a fesurwch

Mae fframwaith SPACE yn rhoi’r pum dimensiwn i chi sy’n werth eu dal gyda’i gilydd: Boddhad a lles (Satisfaction), Perfformiad (Performance), Gweithgarwch (Activity), Cyfathrebu a chydweithio (Communication and collaboration), ac Effeithlonrwydd a llif (Efficiency and flow). Pwynt SPACE yw y dylech ddewis o leiaf ychydig ddimensiynau, byth un yn unig, a byth pob un o’r un categori. Mae metrigau gweithgarwch (cyflwyniadau, defnyddiadau) yn ddeniadol am eu bod yn hawdd eu casglu, ond ar eu pen eu hunain maent yn ystumio. Parwch nhw â signal boddhad a signal perfformiad fel na ellir twyllo’r un dimensiwn heb i’r lleill ei ddatgelu. Nid yw tîm sy’n anfon mwy o ddefnyddiadau tra bo boddhad yn suddo a chyfradd methiant newid yn dringo yn fwy cynhyrchiol, ac mae set gytbwys yn dangos hynny i chi ar unwaith.

Trinwch brofiad datblygwr fel dolenni adborth, llwyth gwybyddol, a llif

Profiad datblygwr (DevEx) yw sut mae’n teimlo i wneud gwaith peirianneg yma, ac mae’n fwy diriaethol nag y mae’n swnio. Mae’n gorffwys ar dri pheth y gallwch eu mesur a’u gwella. Dolenni adborth yw pa mor hir mae datblygwr yn aros i ddysgu a weithiodd rhywbeth: amser adeiladu lleol, hyd cyfres brofion, trosiant adolygiad cod, amser defnyddio. Mae dolenni araf yn gorfodi newid cyd-destun ac aros segur. Mae llwyth gwybyddol, cyfanswm yr ymdrech feddyliol y mae tasg yn ei gofyn, yn tyfu pan fo’n rhaid i ddatblygwr jyglo gormod o offer, systemau heb eu dogfennu, a dibyniaethau cymhleth er mwyn gwneud newid syml. Mae llif yn gyflwr o drochi ffocysedig, cynhyrchiol y mae calendrau darniog ac ymyriadau cyson yn ei ddinistrio. Pan fyddwch yn byrhau dolen adborth, yn dileu cysyniad yr oedd yn rhaid i ddatblygwr ei ddal yn ei ben, neu’n amddiffyn bloc o amser ffocws, rydych wedi gwella cynhyrchedd mewn ffordd na fyddai unrhyw gyfrif gweithgarwch yn ei gofrestru. Dyma’r un pryder DevEx y mae peirianneg platfform yn ei wasanaethu drwy ffyrdd wedi’u palmantu a hunanwasanaeth (pennod 8.4).

Trionglwch ganfyddiadau â metrigau system

Nid oes un ffynhonnell ddata’n ddibynadwy ar ei phen ei hun, felly cyfunwch ddau fath. Daw data canfyddiadol gan y datblygwyr eu hunain drwy arolwg profiad datblygwr: holiadur rheolaidd, yn ddienw gan mwyaf, sy’n gofyn pa mor hyderus y maent yn teimlo wrth anfon, ble maent yn colli amser, a beth sy’n eu rhwystredig. Daw data system o’ch offer: amseriadau piblinell, hwyrni adolygu, amlder digwyddiadau. Mae pob un yn cywiro’r llall. Mae arolygon yn dal poen y mae offerynnau’n ei golli, fel rota ar-alwad ddigalonnol neu wasanaeth etifeddiaeth y mae ofn wrtho. Mae metrigau system yn dal problemau y mae pobl wedi arfer â nhw ac wedi peidio â’u hadrodd. Pan fo arolwg yn dweud bod adeiladau’n boenus a bod eich data piblinell yn cadarnhau adeiladu canolrifol o bymtheg munud, mae gennych fuddsoddiad â blaenoriaeth, y gellir ei amddiffyn. Rhedwch yr arolwg ar gyflymder cyson, cadwch ef yn fyr, a chaewch y ddolen bob amser drwy ddangos beth a newidiodd o’i herwydd.

Defnyddiwch DORA fel signal cyflenwi, nid tabl cynghrair

Mae’r pedwar metrig DevOps Research and Assessment (DORA) (amlder defnyddio, amser arwain ar gyfer newidiadau, cyfradd methiant newid, ac amser adfer gwasanaeth) yn ddarlleniad cryf, wedi’i seilio ar ymchwil, o’ch gallu cyflenwi, gan baru cyflymder â sefydlogrwydd fel na aberthir yr un o’r ddau. Pennod 11.5 sy’n berchen ar y manylder ar y rhain, ac mae pennod 11.2 yn ymdrin â’r biblinell gyflenwi y maent yn ei mesur; defnyddiwch nhw yno. Yma, mae’r arweiniad am sut i’w dal. Trinwch DORA fel signal iechyd ar lefel tîm sy’n dangos a yw eich system gyflenwi’n gwella, nid fel bwrdd sgorio ar gyfer graddio timau neu unigolion. Yr eiliad y bydd rhifau DORA’n ymddangos mewn adolygiad perfformiad rhywun, mae timau’n dechrau hollti defnyddiadau i chwyddo amlder ac yn cuddio digwyddiadau i amddiffyn eu cyfradd fethiant, ac mae’r signal yn marw.

Mesurwch y system, byth gwyliwch yr unigolyn

Dyma’r llinell na chewch ei chroesi. Cyfangorwch fetrigau i lefel y tîm a’r sefydliad, a’u defnyddio i ddod o hyd i ffrithiant a’i ddileu. Peidiwch ag adeiladu dangosfyrddau sy’n graddio datblygwyr yn ôl cyflwyniadau, oriau, neu “sgoriau cynhyrchedd”, a pheidiwch â gadael i delemetreg unigol fwydo cyflog neu ddyrchafiad. Mae gwyliadwriaeth yn dinistrio’r diogelwch seicolegol a’r ymddiriedaeth y mae peirianneg effeithiol yn dibynnu arnynt, ac mae’n dysgu pobl i optimeiddio’r fetrig yn lle’r gwaith. Mae twf a gwerthuso unigol yn perthyn i fecanweithiau dynol ar wahân yr ysgol yrfaoedd a sgyrsiau rheolwr (pennod 1.3). Mae mesur effeithiolrwydd yn gofyn “beth sy’n arafu ein timau?” Nid yw byth yn gofyn “pwy yw ein peiriannydd arafaf?”

Ymosodwch ar lafur a ffrithiant yn uniongyrchol

Unwaith y gallwch weld ble mae amser yn gollwng, gwariwch ef yn ôl. Llawer o’r hyn sy’n cyfyngu effeithiolrwydd yw llafur (toil), y gwaith â llaw, ailadroddus, awtomeiddiadwy sy’n graddio gyda thwf ac nad yw’n cyflenwi gwerth parhaol (pennod 9.1). Mae adolygiadau araf yn ffrithiant hefyd, felly mae symleiddio adolygiad cod (pennod 2.5) gyda newidiadau llai a disgwyliadau clir yn byrhau dolen adborth graidd. Mae ffyrdd wedi’u palmantu a phlatfformau hunanwasanaeth (pennod 8.4) yn dileu categorïau cyfan o aros a llwyth gwybyddol ar unwaith. Cyllidwch hefyd yn erbyn dyled dechnegol, cost gronedig llwybrau byr y gorffennol sy’n trethu pob newid yn y dyfodol, gan mai cod-sylfaen na all neb ei addasu’n ddiogel yw’r suddwr cynhyrchedd dyfnaf oll.

Cyfaddawdau: manteision ac anfanteision

Dull	Manteision	Anfanteision
Metrig cynhyrchedd sengl (LOC, cyflymder, cyflwyniadau)	Rhad, hawdd, un rhif i arweinwyr	Yn cael ei thwyllo ar unwaith; yn mesur gweithgarwch nid gwerth; yn erydu ymddiriedaeth
Set gytbwys arddull SPACE	Yn gwrthsefyll twyllo; yn adlewyrchu realiti	Mwy o waith i’w gasglu; anos ei grynhoi mewn un ffigwr
Arolwg DevEx (canfyddiadol)	Yn dal poen a deimlir y mae offerynnau’n ei golli	Goddrychol; angen ymddiriedaeth a dilyniant i aros yn onest
Metrigau system (DORA, amseriadau piblinell)	Gwrthrychol, parhaus, anodd ei ffugio yn gyfanredol	Dall i hwyliau a chyd-destun; peryglus os cymhwysir at unigolion
Trongli’r ddau	Mae pob ffynhonnell yn cywiro’r llall; cadarn	Angen buddsoddiad mewn offer a disgyblaeth arolwg

Y tyndra canolog yw trylwyredd yn erbyn gonestrwydd. Mae un rhif yn hawdd ei adrodd ac yn hawdd ei lygru; mae darlun cyfoethog, amlddimensiwn yn onest ond yn anos ei gyfathrebu i weithredwr prysur. Datryswch hyn drwy ddewis set fach gytbwys (ychydig ddimensiynau SPACE ynghyd ag arolwg a DORA fel darlleniad cyflenwi), adrodd tueddiadau yn hytrach na chipluniau, a bod yn eglur bod y rhifau’n bodoli i wella’r system, nid i sgorio pobl. Pan fo arweinyddiaeth eisiau “un siart,” rhowch dueddiad o ychydig signalau cyflenwol iddynt a gwrthodwch y demtasiwn i’w cwympo i mewn i gyfansawdd ffug.

Cwestiynau i’w trafod gyda’ch tîm

Pe bai arweinydd yn mynnu un rhif cynhyrchedd yfory, beth fyddech chi’n ei roi iddynt? Mae’r cwestiwn hwn yn datgelu a yw eich sefydliad yn deall y trap. Yr ateb gonest yw nad oes unrhyw un rhif yn ddiogel, a’ch gwaith chi yw ail-lunio’r cais yn set fach gytbwys sy’n gwrthsefyll twyllo. Dewch â’r metrigau a adroddwch eisoes a gofynnwch, am bob un, “sut byddai tîm clyfar, sinigaidd yn chwyddo hwn heb wneud gwaith gwell?” Os yw’r ateb yn hawdd, mae’r metrig yn beryglus yr eiliad y daw’n darged. Trafodwch beth fyddech chi’n ei gynnig yn lle hynny, a sut y byddech chi’n esbonio i arweinyddiaeth pam y byddai un rhif yn eu camarwain i optimeiddio’r peth anghywir. Mae ansawdd y sgwrs honno’n rhagfynegi a fydd mesur yn eich helpu neu’n eich llygru.
Beth yw eich dolen adborth arafaf, a faint mae’n ei gostio i chi bob dydd? Dyma lle mae cynhyrchedd yn gollwng yn dawel: adeiladu pymtheg munud, aros deuddydd am adolygiad, cyfres brofion ansefydlog sy’n erydu ymddiriedaeth ym mhob tic gwyrdd. Dewch â rhifau go iawn o arolwg profiad datblygwr ac o’ch offerynnau piblinell, a gweld a yw’r boen a ganfyddir a’r hwyrni a fesurir yn cytuno. Amcangyfrifwch y gost ddyddiol drwy luosi’r aros â faint o ddatblygwyr sy’n ei daro pa mor aml, ac fel arfer mae’r achos dros fuddsoddi’n gwneud ei hun. Penderfynwch pa ddolen i’w byrhau’n gyntaf a phwy sy’n berchen ar y datrysiad. Nid yw tîm na all enwi ei ddolen arafaf wedi dechrau mesur y peth pwysicaf eto.
Ble mae’ch mesur mewn perygl o deimlo fel gwyliadwriaeth, a sut y byddwch yn ei atal? Y gwahaniaeth rhwng mesur y system a monitro pobl yw’r gwahaniaeth rhwng ymddiriedaeth ac ofn, ac mae’n hawdd ei groesi heb sylwi. Ewch drwy bob dangosfwrdd ac adroddiad a gofynnwch a allai unrhyw un ohonynt raddio unigolyn neu fwydo adolygiad perfformiad. Penderfynwch yn benodol beth sy’n aros yn gyfangorol, beth sy’n aros yn ddienw, a beth sydd y tu hwnt i derfynau, yna dywedwch hynny’n agored wrth y timau a fesurir. Mewn lleoliadau menter a llywodraeth, lle mae pwysau goruchwylio ac archwilio’n gryf, mae’r demtasiwn i dyllu i lawr at unigolion yn gyson, felly rhaid i’r gwarchodfa fod yn egwyddor ddatganedig, nid gobaith. Os yw datblygwyr yn credu bod y rhifau’n cael eu defnyddio yn eu herbyn, byddant yn optimeiddio’r rhifau a bydd y gwirionedd yn diflannu.
Pan wnaethom ofyn ddiwethaf i ddatblygwyr sut mae’r gwaith yn teimlo, beth newidiodd o’i herwydd, ac a wnaethant ddarganfod hynny erioed? Mae arolwg nad yw’n cynhyrchu unrhyw weithredu gweladwy’n dysgu datblygwyr i beidio ag ateb yn onest, felly mae’r ail arolwg tawel yn denu ymatebion prinnach a mwy diflas na’r cyntaf, ac mae’r offeryn rydych yn dibynnu arno’n dadfeilio’n union wrth i chi ei raddio. I sefydliad mawr mae’r gwastraff yn cyfansoddi: mae cannoedd o bobl yn treulio amser yn adrodd ffrithiant, mae adroddiad yn cylchredeg, ac nid oes dim yn cael ei anfon. Dewch â thri chanfyddiad gorau’r arolwg diwethaf, y gwaith diriaethol a sbardunodd pob un, a sut y cyfathrebwyd y canlyniad yn ôl i’r bobl a’i cododd. Pwyswch y dynfa gystadleuol rhwng gweithredu ar y gŵyn uchaf a gweithredu ar yr un fwyaf cyffredin, gan mai problemau gwahanol yw’r rheiny’n aml. Mewn lleoliadau menter a llywodraeth, lle mae blinder arolwg a gorlwyth ymgynghori eisoes yn uchel, trinwch gau’r ddolen fel ymrwymiad llywodraethu: enwch pwy sy’n berchen ar yr ymateb, cyhoeddwch beth a newidiodd, a derbyniwch fod arolwg heb ateb yn waeth na dim arolwg o gwbl.
Sut y byddem yn cymharu timau heb adeiladu tabl cynghrair sy’n cosbi gonestrwydd? Mae arweinwyr sefydliadau mawr yn naturiol eisiau gwybod pa dimau sy’n ffynnu a pha rai sy’n sownd, ac eto mae graddio timau yn ôl cyflymder crai, amlder defnyddio, neu rifau DORA yn anwybyddu bod tîm taliadau dan reoleiddio trwm a thîm prototeip glaswellt-newydd yn byw mewn bydoedd gwahanol. Mae’r ystyriaeth gystadleuol yn real: mae angen i chi weld timau sy’n cael trafferth a lledaenu’r hyn sy’n gweithio, ond yr eiliad y daw cymhariaeth yn fwrdd sgorio, mae timau’n ail-raddio amcangyfrifon, yn cuddio digwyddiadau, ac yn hollti defnyddiadau i amddiffyn eu safle. Dewch â siamplau penodol o sut mae cyd-destunau timau’n gwahaniaethu yn eich sefydliad, ynghyd â chynnig i gymharu pob tîm â’i lwybr ei hun dros amser yn hytrach na’i gymdogion. Mewn lleoliadau menter a llywodraeth, lle mae pwysau archwilio a goruchwylio’n gwthio’n galed tuag at raddio traws-dîm, cytunwch ymlaen llaw beth y gellir ei gymharu, beth a ddarllenir fel tuedd fesul-tîm yn unig bob amser, a phwy sydd â’r awdurdod i wrthod cymhariaeth annheg.
Sut rydym yn cysylltu effeithiolrwydd â chanlyniadau go iawn heb droi metrig cyflenwi’n darged sy’n llygru? Mae effeithiolrwydd nad yw byth yn ysgolio i fyny at werth yn edrych fel syllu-ar-fogail i arweinyddiaeth, ond yr eiliad y daw signal cyflenwi fel amser arwain neu amlder defnyddio’n nod mewn adolygiad perfformiad, mae timau’n optimeiddio’r rhif ac yn gadael y canlyniad yr oedd i fod i’w gynrychioli. I sefydliad mawr mae’r tyndra’n ddwys, gan fod gweithredwyr eisiau llinell lân o ymdrech beirianneg i ganlyniadau busnes tra bo’r llinell onest yn flêr ac yn hwyrfrydig. Dewch â’ch mesurau canlyniad cyfredol, y signalau cyflenwi y byddech yn eu clymu wrthynt, a chyfrif eglur o sut y gellid twyllo pob un pe bai’n dod yn darged. Pwyswch y dynfa rhwng stori syml y gall arweinyddiaeth ei hailadrodd a darlun gwirioneddol sy’n gwrthsefyll ystumio. Mewn llywodraeth neu blatfform mewnol nad yw’n farchnad, lle nad oes refeniw i angori gwerth, byddwch yn barod i ddiffinio canlyniadau fel dibynadwyedd gwasanaeth, amser cylchred ar gyweiriadau, a budd cyhoeddus yn hytrach na gweithgarwch crai, ac i amddiffyn y dewis hwnnw i gyrff goruchwylio a allai ffafrio arteffactau haws eu cyfrif.

Trwy lens sector

Cwmni newydd. Gyda llond llaw o beirianwyr a fawr ddim lle anadlu, hepgorwch ddangosfyrddau’n gyfan gwbl a mesurwch y ddau beth sy’n symud gyflymaf: arolwg profiad datblygwr deg cwestiwn ac amseriadau piblinell sylfaenol. Eich risg cynhyrchedd fwyaf yw cyfres brofion araf neu ansefydlog a newid cyd-destun cyson, felly dewch o hyd i’r ddolen adborth waethaf, byrhewch hi, a symudwch ymlaen. Peidiwch â sefydlu rhaglen fesur nad oes gennych neb i’w rhedeg, gan fod un sgwrs onest am ble mae’r dydd yn gollwng yn curo unrhyw offer y byddai’n rhaid i chi ei gynnal wedyn.

Busnes bach. Heb arbenigwr mesur a chyllideb dynn, pwyswch ar yr hyn y mae eich offer presennol eisoes yn ei gofnodi: amseroedd adeiladu, hwyrni adolygu, a chyfrifon digwyddiadau o’r systemau rydych eisoes yn talu amdanynt. Prynwch declyn arolwg ysgafn yn hytrach na chodi un, a gwrthsefwch y cyflwyniad gwerthwr ar gyfer dangosfwrdd cynhyrchedd unigol, a fyddai’n eich costio ymddiriedaeth na allwch ei sbario. Fframiwch yr ymdrech gyfan fel dileu ffrithiant ar gyfer tîm bach na all fforddio gwastraffu diwrnod unrhyw un.

Menter. Ar draws dwsinau o dimau, y wobr yw capasiti a adferwyd ar raddfa, a’r perygl yw dangosfwrdd canolog sy’n llithro’n dawel i raddio pobl. Safonwch raglen gytbwys (arolwg DevEx chwarterol, ychydig ddimensiynau SPACE, a DORA wedi’i ddarllen fel tuedd cyflenwi fesul-tîm) a’i llywodraethu fel na chesglir telemetreg unigol byth. Cymharwch bob tîm â’i lwybr ei hun, cyfiawnhewch fuddsoddiad platfform (pennod 8.4) yn erbyn y ffrithiant y mae’r data’n ei ddatgelu, a rhowch awdurdod i un perchennog atebol i wrthod unrhyw fetrig a fyddai’n dod yn dabl cynghrair.

Llywodraeth. Heb bris marchnad ar allbwn a phwysau goruchwylio cryf, mae’r dynfa tuag at theatr allbwn (cyfrif dogfennau a thocynnau a gaewyd) yn gyson, ac mae’r dynfa tuag at wylio unigolion a enwir dan archwiliad yn gryfach fyth. Mesurwch ganlyniadau a gallu cyflenwi yn lle hynny: pa mor gyflym mae gwasanaeth yn anfon cywiriad, pa mor ddibynadwy ydyw, a sut mae staff a chontractwyr yn profi’r gwaith drwy arolwg dienw. Mesurwch weision sifil a chontractwyr ar yr un sail lefel-system, cyhoeddwch at beth y mae’r mesur, a byddwch yn barod i ddadlau i ddeddfwrfa fod tuedd cyflenwi fesul-tîm yn ddarlleniad mwy gonest o werth cyhoeddus nag unrhyw sgôr unigol.

Enghreifftiau

Cwmni newydd. Mae cwmni newydd ugain o bobl yn sylwi bod anfon wedi arafu er bod pawb yn brysur. Yn hytrach na gosod dangosfwrdd cynhyrchedd, mae’r arweinydd peirianneg yn rhedeg arolwg DevEx deg cwestiwn ac yn tynnu amseriadau piblinell sylfaenol. Mae’r arolwg a’r data’n cytuno: mae’r gyfres brofion yn cymryd dau ddeg dau funud ac yn methu ar hap, felly mae pobl yn bagio newidiadau ac yn newid cyd-destun wrth aros. Mae’r tîm yn treulio pythefnos yn trwsio profion ansefydlog ac yn cydredeg y gyfres, gan ei thorri i bedwar munud. Mae amlder defnyddio’n codi ohono’i hun, mae boddhad yn neidio yn yr arolwg nesaf, ac ni chafodd neb ei raddio na’i sgorio erioed i wneud i hynny ddigwydd.

Menter. Mae banc â deugain o dimau peirianneg eisiau cyfiawnhau buddsoddiad parhaus yn ei blatfform mewnol. Mae’r grŵp platfform yn mabwysiadu rhaglen fesur gytbwys: arolwg DevEx chwarterol ar draws pob tîm, signalau arddull SPACE, a metrigau DORA wedi’u darllen ar lefel tîm fel tuedd iechyd cyflenwi (pennod 11.5). Yn hollbwysig, maent yn meincnodi timau’n deg drwy gymharu pob tîm â’i lwybr ei hun dros amser, nid yn erbyn ei gilydd, gan fod cyd-destunau timau’n gwahaniaethu’n eang. Mae’r data’n dangos bod timau ar ffyrdd wedi’u palmantu (pennod 8.4) yn sefydlu peirianwyr newydd mewn diwrnodau yn hytrach nag wythnosau ac yn adrodd llwyth gwybyddol llawer is. Mae’r dystiolaeth honno, wedi’i fframio fel capasiti a adferwyd ar draws cannoedd o ddatblygwyr, yn ariannu’r platfform am flwyddyn arall. Ni chesglir telemetreg unigol byth, yn fwriadol.

Llywodraeth. Rhaid i asiantaeth gwasanaethau digidol ffederal ddangos i ddeddfwrfa fod ei gwariant peirianneg yn cyflenwi gwerth, mewn lleoliad heb bris marchnad ar allbwn. Mae’n gwrthod theatr allbwn (cyfrif dogfennau neu docynnau a gaewyd) ac yn hytrach yn mesur canlyniadau a gallu cyflenwi: pa mor gyflym y gall gwasanaethau anfon cywiriad, pa mor ddibynadwy ydynt, a sut mae’r gweithlu a’i gontractwyr yn profi’r gwaith drwy arolwg dienw. Mae signalau cyflenwi arddull DORA’n dangos a yw moderneiddio mewn gwirionedd yn gwella trwygyfer a sefydlogrwydd, wedi’u clymu’n ôl at ganlyniadau cyhoeddus yn hytrach na gweithgarwch crai (pennod 11.5). Gan nad yw mesur byth yn graddio unigolion, a chan fod staff contractwyr a gwasanaeth sifil yn cael eu mesur ar yr un sail lefel-system, mae’r asiantaeth yn osgoi’r problemau gwyliadwriaeth a hwyliau sy’n suddo ymdrechion o’r fath, ac yn rhoi darlleniad gonest ar werth i gyrff goruchwylio.

Achos busnes: cymhellion, ROI, a TCO

Yr elw ar fesur a gwella effeithiolrwydd yw capasiti a adferwyd, ac ar raddfa mae’r rhifau’n fawr. Mae ffrithiannau bach yn lluosi ar draws sefydliad mawr: mae adeiladu deng munud y mae cant o beirianwyr yn ei daro sawl gwaith y dydd yn filoedd o oriau-peiriannydd y flwyddyn a dreulir yn aros. Byrhewch y ddolen honno ac rydych wedi ychwanegu capasiti ystyrlon heb gyflogi neb. Yr ROI amlycaf yma yw’r un ag mewn peirianneg platfform (pennod 8.4): amser peirianneg drud wedi’i ailgyfeirio o aros a llafur tuag at waith gwerthfawr.

Mae cyfanswm cost perchnogaeth yn gymedrol ond yn real. Rydych yn talu am offer arolwg a’r ddisgyblaeth i’w redeg, am offeryniad piblinellau, ac am sylw rheolaethol i ddarllen tueddiadau a gweithredu arnynt. Y risg fwyaf i ROI yw gwneud mesur yn wael. Gall un metrig wedi’i thwyllo neu raglen wyliadwriaeth gynhyrchu enillion negyddol: misoedd o ymdrech yn optimeiddio rhif tra bo canlyniadau go iawn yn aros yn ei unfan, ynghyd ag erydiad ymddiriedaeth sy’n gwneud pob newid yn y dyfodol yn anos. Mae cost peidio â mesur o gwbl yn wasgaredig ac yn enfawr: mae ffrithiant a llafur yn cronni’n anweledig, mae peirianwyr uwch yn llosgi allan ar wastraff y gellid ei osgoi, ac ni all arweinyddiaeth ddweud a yw buddsoddiadau’n helpu. Gwnewch yr achos i arweinyddiaeth fel trosoledd a gonestrwydd: rhaglen fesur fach, ymddiriedus, gytbwys sy’n dod o hyd i ble mae gweithlu mawr yn colli amser, ac sy’n talu amdani ei hun sawl gwaith drosodd yr eiliad y byddwch yn gweithredu ar y canfyddiad cyntaf.

Gwrth-batrymau a pheryglon

Y metrig cynhyrchedd sengl. Mae unrhyw un rhif (LOC, cyflymder, cyflwyniadau, oriau) yn cael ei thwyllo’r diwrnod y daw’n darged.
Graddio unigolion. Mae tablau cynghrair a “sgoriau cynhyrchedd” unigol yn dinistrio ymddiriedaeth ac yn dysgu pobl i optimeiddio’r fetrig.
Mesur fel gwyliadwriaeth. Mae telemetreg unigol fanwl sy’n bwydo adolygiadau’n erydu’r diogelwch seicolegol sydd ei angen ar waith effeithiol.
Arolygon heb ddilyniant. Mae gofyn i ddatblygwyr sut mae’r gwaith yn teimlo ac yna newid dim yn eu dysgu i beidio ag ateb yn onest.
Cymharu rhifau crai timau. Mae cyd-destunau timau’n gwahaniaethu; mae cymariaethau cyflymder neu DORA traws-dîm yn cosbi gonestrwydd ac yn gwobrwyo twyllo.
Theatr allbwn. Cyfrif arteffactau a gynhyrchwyd (dogfennau, tocynnau, nodweddion a anfonwyd) tra bo canlyniadau go iawn yn mynd heb eu mesur, yn gyffredin lle nad oes pris marchnad.
DORA ar adolygiad perfformiad. Yr eiliad y bydd metrigau cyflenwi’n sgorio pobl, mae timau’n cuddio digwyddiadau ac yn hollti defnyddiadau, ac mae’r signal yn marw.

Model aeddfedrwydd

Lefel 1, Cychwyn: Barnir cynhyrchedd yn ôl teimlad reddfol neu un metrig y gellir ei thwyllo, fel llinellau cod, cyflymder, neu oriau. Mae mesur yn ad hoc ac yn adweithiol, mae ffrithiant yn anweledig, mae cwynion yn anecdotaidd, ac ni all neb ddweud a yw’r sefydliad yn gwella.
Lefel 2, Datblygu: Mae rhai timau’n mabwysiadu arferion sylfaenol: ychydig fetrigau, yn aml yn gyfrifon gweithgarwch, ac arolwg profiad datblygwr achlysurol. Mae’r arferion yn anghyson o dîm i dîm, mae data’n cael ei gasglu ond anaml y gweithredir arno, mae cymariaethau crai traws-dîm yn ymgripio i mewn, ac nid oes egwyddor a rennir sy’n diogelu unigolion rhag graddio.
Lefel 3, Safoni: Mae rhaglen fesur gytbwys wedi’i dogfennu a’i chymhwyso ar draws y sefydliad, gan ddefnyddio dimensiynau arddull SPACE, arolwg DevEx rheolaidd, a DORA fel signal cyflenwi (pennod 11.5). Cyfangorir metrigau i dimau yn ôl polisi, ni raddir unigolion byth, ac mae canfyddiadau’n gyrru gwaith diriaethol i fyrhau dolenni adborth a thorri llafur (pennod 9.1).
Lefel 4, Rheoli: Mesurir a rheolir y rhaglen yn erbyn llinellau sylfaen. Mae amseroedd dolen adborth, sgoriau arolwg, a thueddiadau DORA’n cario targedau cytunedig ac yn cael eu holrhain dros amser; cymherir pob tîm â’i lwybr ei hun yn hytrach na’i gymdogion; cyfiawnheir buddsoddiadau platfform a lleihau llafur â data cyn-ac-ar-ôl ar gapasiti a adferwyd; ac mae dirywiad mewn unrhyw signal yn sbarduno adolygiad yn hytrach na mynd heb ei sylwi.
Lefel 5, Cydgysylltu: Mae mesur yn ymddiriedus, yn arferol, ac yn addasol. Trionglir data canfyddiadol a system, mae tueddiadau’n bwydo gwelliant parhaus, mae ffrithiant a llwyth gwybyddol yn cael eu hela a’u dileu’n weithredol, mae’r set fesur ei hun yn cael ei diwygio wrth i’r sefydliad newid, ac mae effeithiolrwydd wedi’i integreiddio â chanlyniadau busnes a chyhoeddus heb i unrhyw fetrig gael ei ganiatáu i ddod yn darged sy’n llygru.

Syniadau ar gyfer trafodaeth

Pa rai o’ch metrigau cyfredol y gallai tîm sinigaidd eu chwyddo heb wneud gwaith gwell, a beth fyddech chi’n eu rhoi yn eu lle?
Pe gallech fyrhau union un ddolen adborth ar draws y sefydliad cyfan, pa un fyddai’n dychwelyd y capasiti mwyaf a adferwyd?
Sut y byddech chi’n meincnodi llawer o dimau’n deg pan fo’u cyd-destunau’n gwahaniaethu, heb greu tabl cynghrair sy’n cosbi gonestrwydd?
Ble mae’r llinell rhwng mesur y system a gwylio’r unigolyn, a phwy yn eich sefydliad sydd â’r awdurdod i’w gorfodi?
Mewn lleoliad heb bris marchnad ar allbwn, fel llywodraeth neu blatfform mewnol, sut ydych chi’n mesur gwerth go iawn yn hytrach na gweithgarwch?
Beth fyddech chi’n ei ddangos i ddatblygwr i brofi bod arolwg y chwarter hwn wedi newid rhywbeth?

Casgliadau allweddol

Mae cynhyrchedd i beirianwyr yn amlddimensiwn. Gwrthodwch unrhyw un rhif (llinellau cod, cyflymder, cyflwyniadau, oriau) fel y mesur, gan fod cyfraith Goodhart yn gwarantu y caiff ei dwyllo.
Defnyddiwch fframwaith SPACE (boddhad a lles, perfformiad, gweithgarwch, cyfathrebu a chydweithio, effeithlonrwydd a llif) i ddal sawl dimensiwn gyda’i gilydd fel na ellir twyllo’r un dimensiwn ar ei ben ei hun.
Daw profiad datblygwr i lawr i ddolenni adborth, llwyth gwybyddol, a llif. Mae byrhau dolenni a dileu llwyth yn gynhyrchedd go iawn na fyddai unrhyw gyfrif gweithgarwch byth yn ei ddangos.
Trionglwch ddata canfyddiadol o arolwg DevEx â data system o’ch offer; mae pob un yn cywiro’r llall.
Trinwch fetrigau DORA fel signal cyflenwi ar lefel tîm, nid tabl cynghrair; mae eu manylder yn byw ym mhennod 11.5 a’r biblinell ym mhennod 11.2.
Mesurwch y system, byth yr unigolyn. Cyfangorwch i dimau, cadwch werthuso yn sianeli dynol ar wahân pennod 1.3, a pheidiwch byth â gadael i fesur ddod yn wyliadwriaeth.
Gwariwch amser a adferwyd ar dorri llafur (pennod 9.1), cyflymu adolygiad cod (pennod 2.5), a phalmantu ffyrdd (pennod 8.4). Cysylltwch effeithiolrwydd â chanlyniadau busnes heb adael i unrhyw fetrig ddod yn darged sy’n llygru.

Cyfeiriadau a darllen pellach

Nicole Forsgren, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck, and Jenna Butler, “The SPACE of Developer Productivity” (ACM Queue, 2021): y fframwaith amlddimensiwn.
Abi Noda, Margaret-Anne Storey, Nicole Forsgren, and Michaela Greiler, “DevEx: What Actually Drives Productivity” (ACM Queue, 2023): dolenni adborth, llwyth gwybyddol, a llif.
Nicole Forsgren, Jez Humble, and Gene Kim, Accelerate: The Science of Lean Software and DevOps (sylfaen ymchwil metrigau DORA).
DORA, Accelerate State of DevOps Report (blynyddol): y rhaglen ymchwil barhaus y tu ôl i’r pedwar metrig.
Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds., Site Reliability Engineering (llafur a’i ddileu).
Matthew Skelton and Manuel Pais, Team Topologies (llwyth gwybyddol fel pryder dylunio dosbarth cyntaf).
Mihaly Csikszentmihalyi, Flow: The Psychology of Optimal Experience (tarddiad cyflwr llif).
Tom DeMarco and Timothy Lister, Peopleware: Productive Projects and Teams (ffocws, ymyriad, ac ochr ddynol cynhyrchedd).
Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): tarddiad cyfraith Goodhart; gweler hefyd fformwleiddiad Marilyn Strathern a ddyfynnir yn eang.
U.S. Government Accountability Office (GAO) guidance on performance measurement: mesur gwerth mewn lleoliadau sector cyhoeddus nad ydynt yn farchnadoedd.