7.5 Gwyddoniaeth penderfyniadau a diwylliant wedi’i lywio gan ddata

Trosolwg a chymhelliant

Gwyddoniaeth penderfyniadau yw’r arfer o gysylltu data â phenderfyniadau gwirioneddol, gan ddefnyddio ystadegau, gwyddoniaeth ymddygiadol, a barn i helpu pobl i ddewis yn dda dan ansicrwydd. Diwylliant wedi’i lywio gan ddata yw’r cyflwr sefydliadol lle mae hyn yn digwydd yn ddiofyn: mae pobl yn estyn am dystiolaeth, yn rhesymu’n ofalus am achos ac effaith, yn cyfathrebu ansicrwydd yn onest, ac yn diweddaru eu credoau pan fo’r data’n cyfiawnhau hynny. Mae’r bennod hon yn fwriadol yn gorbwynt y dilyniant data, oherwydd mae’r holl strategaeth, peirianneg, dadansoddeg, ac arbrofi sy’n dod cyn hyn yn ddiwerth os na wnânt newid penderfyniadau er gwell.

I dimau mawr, dyma lle mae buddsoddiadau data’n methu amlaf, nid yn y piblinellau ond yn y filltir olaf o fewnwelediad i weithredu. Mae mentrau’n gwario’n helaeth ar blatfformau a dangosfyrddau ac yn dal i wneud penderfyniadau mawr yn ôl hierarchaeth, arferiad, neu’r cyflwynydd mwyaf hyderus. Mae mangre methiant cyffredin yn theatr ddata: dangosfyrddau a dadansoddiadau cywrain wedi’u cynhyrchu i edrych yn drwyadl tra bo’r penderfyniad go iawn wedi’i wneud ymlaen llaw a’r data wedi’i ddethol yn ddetholus i’w gyfiawnhau. Mae llywodraeth yn ychwanegu stanciau uchel a chraffu. Gall penderfyniadau polisi a gyfiawnhawyd gan honiadau achosol gwan gam-ddyrannu arian cyhoeddus a niweidio dinasyddion, ac mae’r galw am atebolrwydd yn gwneud rhesymu gonest am dystiolaeth yn rhwymedigaeth ddinesig, nid dim ond arfer da.

Mae’r problemau anodd yma’n rhai gwybyddol a diwylliannol, nid technegol. Mae pobl yn drysu cydberthyniad ag achosiaeth, yn anwybyddu newidynnau cymysgu (newidynnau cudd sy’n gyrru’r honedig achos a’r effaith ill dau), yn angori ar y rhif cyntaf a welant, ac yn darllen amcangyfrifon pwynt fel sicrwydd. Ac wrth wthio i ddod yn ddata-yrredig, gall sefydliadau lithro i wyliadwriaeth: mesur unigolion mor ymwthiol fel eu bod yn dinistrio ymddiriedaeth ac yn ysgogi twyllo. Mae adeiladu diwylliant mesur gwirioneddol yn golygu cael y rhesymu’n gywir, cyfathrebu ansicrwydd yn ffyddlon, a mesur systemau a chanlyniadau heb droi data’n arf rheoli dros bobl.

Egwyddorion allweddol

Pwrpas data yw penderfyniadau gwell, nid cynhyrchu adroddiadau.
Penderfynwch beth fyddai’n newid eich meddwl cyn i chi edrych ar y data.
Nid yw cydberthyniad yn achosiaeth; holwch newidynnau cymysgu cyn gweithredu.
Cyfathrebwch ansicrwydd yn onest; mae amcangyfrif pwynt heb amrediad yn camarwain.
Byddwch wedi’ch llywio gan ddata, nid wedi’ch caethiwo ganddo; mae barn a chyd-destun yn dal i fod yn bwysig.
Mesurwch i ddysgu a gwella systemau, nid i wylio a chosbi unigolion.
Diweddarwch gredoau pan fo tystiolaeth yn cyfiawnhau hynny; mae newid eich meddwl yn gryfder.
Mae diogelwch seicolegol yn rhagofyniad ar gyfer dadansoddi ac anghytuno gonest.

Argymhellion

Cysylltu data â phenderfyniadau ac osgoi theatr ddata

Cysylltwch ddadansoddiad â phenderfyniad penodol o’r cychwyn: beth fyddwn ni’n ei wneud yn wahanol yn dibynnu ar yr hyn a ddown o hyd iddo? Cyn casglu data, nodwch y penderfyniad, y dewisiadau, a pha dystiolaeth a fyddai o blaid pob un, yn ddelfrydol pa ganlyniad fyddai’n newid eich meddwl. Mae hyn yn gwarchod yn erbyn theatr ddata, lle mae dadansoddiad ond yn addurno penderfyniad sydd eisoes wedi’i wneud. Os na fyddai canfyddiad realistig yn newid y dewis, peidiwch â gwario ar y dadansoddiad. Gwnewch y penderfyniad barn yn onest a dywedwch hynny. Mynnwch fod cyflwyniadau’n arwain gyda’r penderfyniad a’r argymhelliad, nid taith o gwmpas siartiau.

Rhesymu’n ofalus am achosiaeth

Mae’r rhan fwyaf o gwestiynau busnes a pholisi’n achosol (a fydd y weithred hon yn cynhyrchu’r canlyniad hwn), ond mae’r rhan fwyaf o’r data sydd ar gael yn arsylladol ac yn llawn newidynnau cymysgu. Dysgwch dimau’r gwahaniaeth rhwng cydberthyniad ac achosiaeth, a’r trapiau: newidynnau cymysgu, tuedd dethol, achosiaeth wrthdro, ac cydberthyniad ffug. Ffafriwch arbrofion ar hap ar gyfer honiadau achosol lle bo hynny’n ymarferol. Lle mae arbrofion yn amhosibl, defnyddiwch dechnegau casgliad achosol gofalus a nodwch eich rhagdybiaethau’n benodol yn hytrach na llithro o “gysylltiedig â” i “yn achosi.” Byddwch yn arbennig o amheus o stori ddeniadol wedi’i hadeiladu ar un cydberthyniad.

Cyfathrebu ansicrwydd i randdeiliaid

Mae rhifau a gyflwynir fel amcangyfrifon pwynt manwl gywir yn gwahodd hyder ffug. Cyfathrebwch amrediadau, cyfyngau hyder neu gredadwy, a’r rhagdybiaethau allweddol y tu ôl i unrhyw ffigur. Defnyddiwch iaith blaen a delweddau gonest (barrau gwall, amrediadau, bandiau senario) fel bod gwneuthurwyr penderfyniadau’n deall beth sy’n hysbys a beth sy’n anhysbys. Gwahaniaethwch rhwng yr hyn y mae’r data’n ei ddangos, yr hyn rydych yn ei gasglu, a’r hyn rydych yn ei dybio. Graddnodwch hyder yn ôl tystiolaeth: cyflwynwch ragolwg o ddata prin yn union fel hynny. Mae ansicrwydd a gyfathrebwyd yn onest yn adeiladu mwy o ymddiriedaeth na manwl gywirdeb ffug, oherwydd mae’n goroesi cyswllt â realiti.

Adeiladu diwylliant mesur heb wyliadwriaeth

Crëwch amgylchedd lle mae timau’n diffinio metrigau llwyddiant yn rheolaidd, yn mesur canlyniadau, ac yn dysgu ohonynt, ond anelwch fesur at systemau, prosesau, a chanlyniadau yn hytrach na monitro unigolion. Mae metrigau a ddefnyddir i wylio a rhestru pobl yn cael eu twyllo, yn magu ofn, ac yn dinistrio’r gonestrwydd y mae penderfyniadau da yn ei angen (dynameg a ddisgrifir gan gyfraith Goodhart: mae mesur sy’n dod yn darged yn peidio â bod yn fesur da). Ffafriwch fetrigau cyfansawdd, canlyniad-ganolog. Cynhwyswch dimau wrth ddewis eu mesurau eu hunain, a gwahanwch fetrigau dysgu oddi wrth werthusiad perfformiad. Diogelwch ddiogelwch seicolegol fel bod pobl yn dod â newyddion drwg ac anghytundeb i’r amlwg yn gynnar.

Meithrin arferion a llythrennedd data iach

Codwch lythrennedd data’n eang fel y gall pobl ddarllen siart yn feirniadol, cwestiynu diffiniad metrig, a sylwi ar honiad camarweiniol. Normaleiddiwch ofyn “sut rydym yn gwybod hynny?” a “beth fyddai’n newid ein meddwl?” Gwobrwywch bobl am ddiweddaru eu safbwyntiau yng ngoleuni tystiolaeth ac am redeg arbrofion sy’n methu’n hysbysol. Gwnewch hi’n ddiogel dweud “nid yw’r data’n dweud wrthym” yn hytrach na gweithgynhyrchu sicrwydd. Mae arweinwyr yn gosod y naws: pan fyddant yn newid penderfyniadau ar sail tystiolaeth ac yn cyfaddef ansicrwydd, mae’r diwylliant yn dilyn.

Gwarchod rhag tuedd a chamddefnydd

Gwyliwch am y tueddiadau rhagweladwy: tuedd gadarnhau wrth ddethol data ategol, tuedd goroesiad wrth anwybyddu’r hyn sy’n absennol, angori ar rif cychwynnol, a thuedd ôl-drem mewn ôl-drafodaethau. Adeiladwch adolygiad eiriolwr-y-diafol, cyn-gofrestru’r hyn rydych yn disgwyl dod o hyd iddo, a safbwyntiau amrywiol ar ddadansoddiadau pwysig i mewn i’r broses. Cymerwch foeseg data o ddifrif (tegwch, tryloywder, ac osgoi niwed), yn enwedig pan fo penderfyniadau’n effeithio ar fywoliaeth, budd-daliadau, neu hawliau pobl.

Cyfaddawdau: manteision ac anfanteision

Dewis	Manteision	Anfanteision	Ffit gorau
Data-yrredig (data’n penderfynu)	Yn lleihau tuedd, yn gyson	Yn anwybyddu cyd-destun, yn cael ei dwyllo, yn frau	Meysydd sy’n cael eu deall yn dda
Wedi’i lywio gan ddata (data ynghyd â barn)	Yn cydbwyso tystiolaeth a chyd-destun	Arafach, mae angen barn	Penderfyniadau cymhleth neu newydd
Arbrawf ar gyfer achosiaeth	Tystiolaeth achosol gref	Costus, araf, nid bob amser yn ymarferol	Dewisiadau y gellir eu gwrthdroi, risg uchel
Casgliad arsylladol	Yn defnyddio’r data sydd ar gael	Risg cymysgu, honiadau gwannach	Pan fo arbrofion yn amhosibl
Metrigau canlyniad/system	Yn gyrru gwelliant, twyllo isel	Llai o atebolrwydd unigol	Diwylliannau dysgu
Gwyliadwriaeth unigol	Gwelededd manwl	Twyllo, ofn, ymddiriedaeth wedi’i erydu	Prin ei gyfiawnhau

Y tyndra diffiniol yw trwyadledd yn erbyn cyflymder ac ymarferoldeb. Mae arbrofion ar hap yn rhoi’r dystiolaeth achosol gryfaf, ond maent yn costio amser ac yn aml yn amhosibl ar gyfer dewisiadau strategol neu bolisi untro, lle mae’n rhaid i farn ofalus am newidynnau cymysgu a rhagdybiaethau eglur ddigoni. Yr ail dyndra yw rhwng mesur ac ymddiriedaeth: po fwyaf manwl y byddwch yn mesur unigolion, y mwyaf y gallwch ei weld a’r lleiaf o ymddygiad gonest a gewch. Mae diwylliant aeddfed yn pwyso tuag at farn wedi’i lywio gan ddata a mesur cyfansawdd, canlyniad-ganolog. Mae’n derbyn ychydig llai o fanwl gywirdeb ymddangosiadol yn gyfnewid am benderfyniadau sy’n dal dŵr a gweithlu sy’n dweud y gwir.

Cwestiynau i’w trafod gyda’ch tîm

Ydych chi’n nodi beth fyddai’n newid eich meddwl cyn i chi edrych ar y data, ac a yw’r cwestiwn hwnnw wedi’i ysgrifennu i mewn i’ch dogfennau penderfynu? Y gwarchodaeth gryfaf yn y bennod hon yn erbyn theatr ddata yw enwi’r penderfyniad, y dewisiadau, a’r dystiolaeth a fyddai o blaid pob un, yn ddelfrydol y canlyniad a fyddai’n troi eich dewis, cyn casglu data. Os na fyddai canfyddiad realistig yn newid y penderfyniad, y symudiad gonest yw hepgor y dadansoddiad a gwneud y penderfyniad barn yn agored. I fentrau ac asiantaethau lle gall un dewis strategol neu bolisi wastraffu mwy nag y mae rhaglen ddadansoddeg gyfan yn ei gostio, mae’r ddisgyblaeth hon yn lifer uchel. Dewch â phenderfyniad diweddar a gofynnwch a allai unrhyw ganfyddiad fod wedi ei newid, neu a oedd y siartiau’n unig yn addurno casgliad a gyrhaeddwyd eisoes. Os nad yw “beth fyddai’n newid ein meddwl?” yn anogaeth safonol yn eich dogfennau penderfynu, gwnewch un ohono, a mynnwch fod cyflwyniadau’n arwain gyda’r argymhelliad, nid taith o gwmpas siartiau.
Pan fo cydberthyniad deniadol yn ymddangos, sut rydych yn holi newidynnau cymysgu cyn i chi weithredu, ac a ydych yn ffafrio arbrawf lle mae un yn ymarferol? Mae’r bennod yn rhybuddio bod y rhan fwyaf o gwestiynau busnes a pholisi’n achosol tra bo’r rhan fwyaf o’r data sydd ar gael yn arsylladol ac yn llawn newidynnau cymysgu, tuedd dethol, ac achosiaeth wrthdro. Mae ei enghreifftiau ei hun yn ailadrodd un trap: mae cwsmeriaid ymgysylltiedig yn hunan-ddethol i mewn i nodwedd neu raglen, felly mae’r cydberthyniad crai â cholli cwsmeriaid is neu ganfod swyddi uwch yn diflannu dan gymhariaeth reoledig. Mae gweithredu ar y cydberthyniad hwnnw’n golygu ymgyrch neu bolisi drud, camgyfeiriedig. Dewch â phenderfyniad diweddar a oedd yn seiliedig ar un cydberthyniad a gofynnwch pa newidyn cudd allai fod yn gyrru’r ddwy ochr. Lle mae arbrawf yn ymarferol, ffafriwch ef; lle nad yw, defnyddiwch ddulliau casgliad achosol gofalus a nodwch eich rhagdybiaethau’n benodol yn hytrach na llithro o “gysylltiedig â” i “yn achosi.”
A yw eich metrigau wedi’u hanelu at wella systemau a chanlyniadau, neu at fonitro unigolion, ac a ydych wedi gwahanu metrigau dysgu oddi wrth werthusiad perfformiad? Mae’r bennod yn tynnu llinell glir: mae mesur wedi’i anelu at bobl yn cael ei dwyllo, yn magu ofn, ac yn dinistrio’r gonestrwydd y mae penderfyniadau da yn ei angen, dynameg y mae cyfraith Goodhart yn ei ragfynegi unwaith y daw mesur yn darged. Mae’n ffafrio metrigau cyfansawdd, canlyniad-ganolog, gan gynnwys timau wrth ddewis eu mesurau eu hunain, a diogelu diogelwch seicolegol fel bod pobl yn dod â newyddion drwg i’r amlwg yn gynnar. I leoliadau llywodraeth a menter, mae gwylio staff rheng flaen yn erydu’r ymddiriedaeth sy’n gwneud data cywir yn bosibl yn y lle cyntaf. Dewch â’r cwestiwn pendant: pa rai o’ch metrigau y gellid eu defnyddio i restru neu gosbi unigolion, ac a fyddai pobl yn eu twyllo dan bwysau? Os yw metrigau dysgu a gwerthusiad perfformiad wedi’u plethu gyda’i gilydd, gwahanwch nhw, fel bod mesur yn gyrru gwelliant yn hytrach nag ymddygiad amddiffynnol.
Pan fo rhif yn cyrraedd gwneuthurwr penderfyniadau, a yw’n cyrraedd fel amrediad gyda’i ragdybiaethau ynghlwm, neu fel amcangyfrif pwynt sy’n gwahodd hyder ffug? Mae’r bennod yn dadlau bod ansicrwydd a gyfathrebwyd yn onest yn adeiladu mwy o ymddiriedaeth na manwl gywirdeb ffug, oherwydd mae’n goroesi cyswllt â realiti, ac eto mae’r tyniad tuag at un ffigur hyderus yn gryf pan fo arweinydd eisiau ateb glân. I dîm mawr mae’r pwysau cystadleuol yn real: gall amrediadau a barrau gwall ddarllen fel osgoi i weithredwyr sy’n gwobrwyo penderfyniad, felly mae dadansoddwyr yn dysgu tynnu’r rhybuddion allan i gael eu clywed. Dewch ag adroddiad diweddar a gwiriwch a oedd yn gwahaniaethu rhwng yr hyn y mae’r data’n ei ddangos, yr hyn rydych wedi’i gasglu, a’r hyn rydych wedi’i dybio, ac a gafodd rhagolwg wedi’i adeiladu ar ddata prin ei labelu’n union felly. Mewn lleoliadau menter a llywodraeth, lle gall ffigur ddod i ben mewn pecyn bwrdd, cyflwyniad cyllideb, neu dystiolaeth gyhoeddus, mae amcangyfrif pwynt a gyflwynir fel sicrwydd yn rhwymedigaeth, felly cytunwch ar safon fewnol bod rhifau canlyniadol yn cario amrediad, y rhagdybiaethau allweddol, a datganiad plaen o hyder.
A yw’n wirioneddol ddiogel yma ddweud “nid yw’r data’n dweud wrthym”, a phwy sydd â’r hawl i herio sut y diffinnir metrig? Mae’r bennod yn trin llythrennedd data a diogelwch seicolegol fel rhagofynion: mae angen i bobl ddarllen siart yn feirniadol, gofyn “sut rydym yn gwybod hynny?”, a chyfaddef ansicrwydd heb gosb, neu mae’r diwylliant yn gweithgynhyrchu sicrwydd ffug yn ddiofyn. Y tyndra i sefydliad mawr yw bod llythrennedd eang yn cymryd amser hyfforddi a chyllideb go iawn, a gall cwestiynu metrig ffafredig person hŷn deimlo’n gyfyngol i yrfa, felly mae rhifau heb eu harchwilio’n teithio i fyny heb eu herio. Dewch â thystiolaeth am bwy yn yr ystafell sydd wir yn gallu holi diffiniad a tharddiad metrig, a chofiwch y tro diwethaf y cafodd rhywun ei wobrwyo yn hytrach na’i gosbi am ddiweddaru ei safbwynt neu adrodd methiant hysbysol. I gyrff menter a llywodraeth, lle gall mesur wedi’i ddiffinio’n wael yrru cyllid neu adroddiadau cyhoeddus, enwch yn benodol pwy sydd â statws i gwestiynu metrig a’u diogelu pan fyddant yn ei ddefnyddio.
Sut rydych yn gwarchod dadansoddiadau pwysig rhag tuedd ragweladwy, ac a ydych yn adeiladu anghytundeb cyn penderfyniad yn hytrach nag ar ei ôl? Mae’r bennod yn rhestru’r trapiau sy’n llygru tystiolaeth yn dawel: tuedd gadarnhau wrth ddethol data ategol, tuedd goroesiad wrth anwybyddu’r hyn sy’n absennol, angori ar rif cychwynnol, a thuedd ôl-drem mewn ôl-drafodaethau. Yr ystyriaeth gystadleuol yw cyflymder, gan fod adolygiad eiriolwr-y-diafol, cyn-gofrestru’r hyn rydych yn disgwyl dod o hyd iddo, a safbwyntiau amrywiol i gyd yn arafu penderfyniad ac yn cael eu torri gyntaf dan bwysau terfyn amser. Dewch â dadansoddiad diweddar risg-uchel a gofynnwch beth fyddai wedi dod i’r amlwg pe bai rhywun wedi’i neilltuo i ddadlau’r achos gwrthwyneb, ac a wnaeth y tîm ysgrifennu ei ddisgwyliadau cyn iddo weld y canlyniadau. Mewn cyd-destunau menter ac, yn enwedig, llywodraeth, lle mae penderfyniadau’n effeithio ar fywoliaeth, budd-daliadau, neu hawliau pobl, triniwch foeseg data ac anghytundeb strwythuredig fel gofynion sefydlog ar ddadansoddiadau canlyniadol, nid ychwanegiadau y gall chwarter prysur eu gollwng yn dawel.

Golwg sector

Cwmni newydd. Heb ddadansoddwyr a dim ond ychydig wythnosau o rediad fesul bet, mae eich gwyddoniaeth penderfyniadau’n un arferiad yn hytrach na swyddogaeth: cyn ymrwymiad mawr, gofynnwch pa ganlyniad fyddai’n newid eich meddwl ac a all arbrawf rhad ei ateb yn gyflymach na chyfarfod. Gwarchodwch yn galed yn erbyn betio’r chwarter ar un cydberthyniad fflachlyd, oherwydd ni all tîm bach adfer o fap ffordd camgyfeiriedig. Cadwch ef yn ysgafn, llinell ysgrifenedig yn y ddogfen benderfynu’n enwi’r signal a fyddai’n eich gwneud i stopio, nid adolygiad ffurfiol na fyddwch byth yn ei redeg.

Busnes bach. Mae’n debyg nad oes gennych arbenigwr data a’ch bod yn prynu dadansoddeg y tu mewn i offer sydd gennych eisoes, felly’r risg yw ymddiried mewn dangosfwrdd gwerthwr heb gwestiynu sut y diffinnir metrig neu a yw ei gymhariaeth yn deg. Treuliwch eich sylw prin ar y rhesymu yn hytrach na’r offer: gwahanwch gydberthyniad oddi wrth achosiaeth ar yr un neu ddau benderfyniad sydd wir yn symud y busnes, a nodwch yr amrediad gonest i chi’ch hun cyn ymrwymo arian na allwch ei adennill. Pan fo teclyn yn cynnig awtomeiddio penderfyniad, cadwch berson yn y ddolen lle bynnag y byddai galwad anghywir yn eich costio cwsmer.

Menter. Ar draws llawer o dimau, y broblem yw cysondeb a llywodraethu: disgwyliad a rennir bod dadansoddiadau’n enwi’r penderfyniad a’r meini prawf lladd ymlaen llaw, bod honiadau achosol yn nodi eu rhagdybiaethau, a bod rhifau canlyniadol yn cario amrediadau i mewn i becynnau bwrdd ac archwiliadau. Gwahanwch fetrigau dysgu oddi wrth werthusiad perfformiad ar draws y sefydliad fel na fydd mesur yn suro’n wyliadwriaeth a thwyllo. Buddsoddwch mewn llythrennedd data eang ac mewn arferion adolygu megis eiriolaeth y diafol a chyn-gofrestru, fel na all cyflwynydd hyderus ddisodli tystiolaeth ar raddfa.

Llywodraeth. Mae caffael, tryloywder, ac atebolrwydd cyhoeddus yn codi’r stanciau ar bob honiad achosol, oherwydd mae polisi a gyfiawnhawyd gan gydberthyniad ffug yn cam-ddyrannu arian cyhoeddus a gall niweidio dinasyddion. Ffafriwch gynlluniau cymharu trwyadl ar gyfer gwerthuso rhaglenni, cyfathrebwch effeithiau fel amrediadau gyda rhagdybiaethau datganedig i gyrff goruchwylio, a dogfennwch y rhesymu fel y gall archwiliad ei ddilyn. Anelwch fesur at ganlyniadau rhaglenni yn hytrach na gwylio gweithwyr achos, a rhowch gyfrif clir i’r cyhoedd o sut y siapiodd y dystiolaeth y penderfyniad.

Enghreifftiau

Cwmni newydd. Sylwodd cwmni newydd cyn-Gyfres-A fod defnyddwyr a ymunodd â’i fforwm cymuned yn colli llawer llai, ac roedd y sylfaenwyr yn barod i anelu’r map ffordd cyfan at nodweddion fforwm. Cyn ymrwymo, gofynnodd un beth fyddai’n newid eu meddwl, a dangosodd golwg gyflym mai’r cwsmeriaid a oedd eisoes wedi ymrwymo oedd yn syml y rhai a drafferthodd ymuno â’r fforwm. Rhedasant arbrawf bach yn hytrach na betio’r chwarter ar gydberthyniad, a gwneud “beth fyddai’n newid ein meddwl?” yn gwestiwn safonol yn eu dogfennau penderfynu.

Menter. Sylwodd cwmni gwasanaethau ariannol fod gan gwsmeriaid a ddefnyddiai nodwedd benodol lawer llai o golli cwsmeriaid ac roedd bron â lansio ymgyrch ddrud i wthio pawb ato. Fflagiodd adolygiad gwyddoniaeth penderfyniadau’r newidyn cymysgu amlwg: roedd cwsmeriaid a oedd eisoes wedi ymgysylltu wedi hunan-ddethol i mewn i’r nodwedd. Yna dangosodd arbrawf rheoledig fod gan y nodwedd ei hun ychydig o effaith achosol ar golli cwsmeriaid. Osgoiodd y cwmni fuddsoddiad mawr camgyfeiriedig, a mabwysiadodd arweinyddiaeth “beth fyddai’n newid ein meddwl?” fel cwestiwn safonol cyn gwariannau mawr.

Llywodraeth. Gwrthododd asiantaeth gyhoeddus a oedd yn gwerthuso rhaglen gyflogaeth hawlio llwyddiant o’r ystadegyn crai bod cyfranogwyr yn dod o hyd i swyddi ar gyfradd uchel, gan gydnabod bod pobl gymhellol yn hunan-ddethol i mewn i raglenni o’r fath. Defnyddiodd gynllun cymharu trwyadl a chyfathrebodd yr effaith amcangyfrifedig fel amrediad gyda rhagdybiaethau datganedig i gyrff goruchwylio. Canolbwyntiodd mesur ar ganlyniadau rhaglenni yn hytrach na gwylio gweithwyr achos, a gadwodd ymddiriedaeth rheng flaen tra’n dal i yrru atebolrwydd a gwelliant.

Achos busnes: cymhellion, ROI, a TCO

ROI gwyddoniaeth penderfyniadau yw’r gost a osgowyd o benderfyniadau anghywir hyderus a’r ansawdd gwell o’r penderfyniadau y mae sefydliad yn eu gwneud filoedd o weithiau. Gall un dewis strategol neu bolisi mawr a gyfiawnhawyd gan gydberthyniad ffug wastraffu llawer mwy na chost gyfan adeiladu arferion penderfynu da. Mae graddnodi gwell (gwybod beth rydych chi’n ei wybod a beth nad ydych) yn caniatáu i chi feintioli betiau’n briodol ac osgoi ymrwymiadau byrbwyll a pharlys ill dau. Yn gyfansawdd, mae diwylliant wedi’i lywio gan ddata’n cronni: mae pob tîm yn gwneud penderfyniadau ychydig yn well, wedi’u rhesymu’n well, yn lifer enfawr.

Mae cost mabwysiadu’n bennaf ddiwylliannol ac addysgol: hyfforddiant llythrennedd data, amser ar gyfer dadansoddi ac adolygu gofalus, a pharodrwydd arweinyddiaeth i newid penderfyniadau a chyfaddef ansicrwydd. Mae’n rhatach mewn doleri na phlatfformau’r penodau blaenorol ond yn anoddach ei osod, oherwydd mae’n gofyn i bobl bwerus gael eu llywodraethu gan dystiolaeth. Pwyswch ef yn erbyn cost peidio â mabwysiadu: theatr ddata sy’n gwastraffu ymdrech ddadansoddol, penderfyniadau wedi’u gyrru gan y llais mwyaf hyderus, honiadau achosol sy’n chwalu ar gyswllt â realiti, a, lle mae gwyliadwriaeth yn gafael, gweithlu sy’n twyllo metrigau ac yn cuddio newyddion drwg. I arweinyddiaeth, mae’r achos yn syml. Nid yw’r holl fuddsoddiad data blaenorol ond yn talu ar ei ganfed os yw’r filltir olaf o fewnwelediad i benderfyniad yn gadarn, a gwyddoniaeth penderfyniadau yw’r filltir olaf honno.

Gwrth-batrymau a pheryglon

Theatr ddata: dadansoddiad wedi’i gynhyrchu i gyfiawnhau penderfyniad sydd eisoes wedi’i wneud.
Llithro o “gysylltiedig â” i “yn achosi” heb holi newidynnau cymysgu.
Cyflwyno amcangyfrifon pwynt fel sicrwydd, gan guddio’r amrediad ansicrwydd.
Tuedd gadarnhau: ceisio dim ond data sy’n cefnogi casgliad a ffafrir.
Penderfyniadau HiPPO lle mae barn y person sy’n cael ei dalu fwyaf yn drech na thystiolaeth.
Troi metrigau’n wyliadwriaeth unigol, gan ysgogi twyllo ac ofn.
Cyfraith Goodhart ar waith: metrig targed sy’n stopio mesur yr hyn sy’n bwysig.
Cosbi pobl am fethiannau hysbysol, gan ladd gonestrwydd ac arbrofi.

Model aeddfedrwydd

Cychwyn. Mae penderfyniadau’n rhedeg ar hierarchaeth a greddf, a’r llais uchaf neu hynaf sy’n ennill. Caiff cydberthyniad ei drin yn rhydd fel achosiaeth, caiff ansicrwydd ei anwybyddu, a chaiff y ychydig fetrigau a ddefnyddir eu twyllo wrth wylio unigolion.
Datblygu. Mae rhai timau’n ymgynghori â data ac yn dangos ymwybyddiaeth o drapiau achosol, ond mae dadansoddiad yn aml yn ddetholus, wedi’i gynhyrchu i gyfiawnhau penderfyniad sydd eisoes wedi’i wneud. Caiff ansicrwydd ei gyfathrebu’n anaml, ac mae arferion mesur yn anghyson o dîm i dîm.
Safoni. Mae’r sefydliad yn dogfennu ac yn gorfodi arfer a rennir: mae dadansoddiadau wedi’u clymu i benderfyniad wedi’i enwi gyda meini prawf wedi’u rhagddiffinio, mae timau’n gwahaniaethu cydberthyniad oddi wrth achosiaeth ac yn ffafrio arbrofion ar gyfer honiadau achosol, mae rhifau’n cario amrediadau a rhagdybiaethau datganedig, a chaiff mesur ei anelu at ganlyniadau yn hytrach nag unigolion, gyda diogelwch seicolegol wedi’i ddiogelu.
Rheoli. Caiff ansawdd penderfyniadau ei fesur a’i reoli yn erbyn llinellau sylfaen. Mae’r sefydliad yn olrhain pa mor aml y gwnaeth dadansoddiadau enwi signal lladd cyn i’r data gyrraedd, y gyfran o ffigurau canlyniadol a gludwyd gydag amrediad cyfathrebedig, faint o honiadau achosol a seiliwyd ar arbrofion yn hytrach na chydberthyniad noeth, ac a wnaeth penderfyniadau wrthdroi ar sail tystiolaeth. Caiff arferion gwarchod tuedd megis cyn-gofrestru ac adolygiad eiriolwr-y-diafol eu harchwilio, a chaiff metrigau sy’n dechrau cael eu twyllo eu dal a’u tynnu’n ôl.
Cerddorfa. Caiff rhesymu cadarn ei wella’n barhaus a’i integreiddio ar draws y sefydliad. Mae “beth fyddai’n newid ein meddwl?” yn arferol cyn unrhyw benderfyniad mawr, mae trwyadledd achosol ac ansicrwydd gonest yn normau diwylliannol, ac mae arweinwyr yn diweddaru’n weladwy ar sail tystiolaeth ac yn cyfaddef beth sy’n anhysbys. Mae mesur yn gyrru dysgu heb wyliadwriaeth, mae arferion penderfynu’n addasu wrth i’r sefydliad a’i risgiau newid, a phob lefel yn penderfynu’n well o ganlyniad.

Syniadau ar gyfer trafodaeth

Ble yn eich sefydliad y defnyddir data i addurno penderfyniadau sydd eisoes wedi’u gwneud?
Pa benderfyniad diweddar a seiliwyd ar gydberthyniad na allai fod yn achosol?
Pa mor onest y mae eich adroddiadau’n cyfathrebu ansicrwydd, a phwy sy’n gwrthwynebu amrediadau?
A yw eich metrigau wedi’u hanelu at wella systemau neu at fonitro unigolion?
Pryd wnaeth arweinydd newid penderfyniad yn weladwy ddiwethaf oherwydd y data?
Sut rydych yn cadw’r ymgais am fesur rhag troi’n wyliadwriaeth?

Prif gasgliadau

Pwynt data yw penderfyniadau gwell; gwarchodwch yn erbyn theatr ddata.
Nodwch beth fyddai’n newid eich meddwl cyn i chi edrych ar y data.
Peidiwch byth â chamgymryd cydberthyniad am achosiaeth; holwch newidynnau cymysgu a ffafriwch arbrofion.
Cyfathrebwch ansicrwydd yn onest; mae manwl gywirdeb ffug yn dinistrio ymddiriedaeth pan fydd yn methu.
Byddwch wedi’ch llywio gan ddata, nid wedi’ch caethiwo ganddo; mae barn a chyd-destun yn dal i fod yn bwysig.
Mesurwch systemau a chanlyniadau i ddysgu, nid unigolion i wylio.
Diogelwch ddiogelwch seicolegol fel bod pobl yn diweddaru credoau ac yn dod â newyddion drwg i’r amlwg.

Cyfeiriadau a darllen pellach

Daniel Kahneman, “Thinking, Fast and Slow.”
Judea Pearl and Dana Mackenzie, “The Book of Why.”
Douglas W. Hubbard, “How to Measure Anything.”
Nate Silver, “The Signal and the Noise.”
Cathy O’Neil, “Weapons of Math Destruction.”
Darrell Huff, “How to Lie with Statistics.”
Philip Tetlock and Dan Gardner, “Superforecasting.”
Charles Wheelan, “Naked Statistics.”