11.5

View in English

11.5 Nyckeltal (KPI)

Översikt och motivation

Ett nyckeltal (KPI, key performance indicator) är ett mått som er organisation medvetet väljer att följa eftersom det speglar den löpande hälsan hos något som spelar roll. Ordet nyckel bär tyngden här: en KPI är inte vilket tal som helst ni kan samla in, utan den lilla uppsättning ni har bestämt är värd att styra efter. Där ett mål och nyckelresultat (OKR) beskriver en förändring ni driver just nu, beskriver en KPI det jämviktsläge ni skyddar. Detta är det renaste sättet att hålla de två isär: OKR är förändringen ni vill ha, KPI är hälsan ni vidmakthåller. Kapitel 11.4 är följeslagarkapitlet om OKR, deras takt och deras gradering. Det här kapitlet handlar om att välja KPI, definiera dem och skydda dem från förvrängning.

För stora team är disciplinen en god KPI pålägger värd lika mycket som måttet självt. I företag driver dussintals team lokala siffror som i tysthet glider ifrån strategin, och en enda väl vald KPI kan linjera hundratals människor kring det värde kunder faktiskt får. I myndigheter binder fleråriga program offentliga medel mot lagstadgade uppdrag, och “vi levererade modulerna i uppdragsbeskrivningen” är inget försvar om väntetider eller bedrägerier aldrig förbättrades. En illa vald KPI korrumperar tyst: ett kontaktcenter mätt på samtal stängda per timme kommer att stänga samtal, inte lösa problem.

Det här kapitlet handlar om att få dessa val, och skyddsräckena runt dem, rätt. Kapitel 11.1 introducerar KPI kort som en del av upptäcktsflödet. Här får ni djupet. Insatserna är höga eftersom en KPI är en instruktion förklädd till en mätning. Människor optimerar det ni räknar, så det ni räknar bör vara det ni vill ha.

Nyckelprinciper

  • Nyckel, inte många. En KPI är ett av de få mått ni valt att styra efter, inte allt ni kan samla in.
  • Mätbar, handlingsbar och ägd. Varje KPI har en exakt definition, en sanningskälla, en ägare och en spak som flyttar den.
  • Hälsa, inte förändring. KPI följer jämviktsläget ni skyddar. OKR (kapitel 11.4) driver förändringen ni vill ha.
  • Led där ni kan, bekräfta där ni måste. Föredra ledande indikatorer. Använd eftersläpande för att verifiera.
  • Väg mot utfall. Indata och output är lätta att räkna. Värdet bor i utfall.
  • Anta att varje mått kommer att manipuleras. Designa mot Goodharts lag med kvoter, kohorter och parade skyddsräcken.
  • Avvisa fåfänga. Om ingen avläsning skulle ändra ett beslut är måttet dekoration.
  • Visualisera ärligt. En panel ska informera på sekunder utan att vilseleda.

Rekommendationer

Definiera vad som gör en KPI “god”

En god KPI klarar fyra tester. Den är linjerad: den kan spåras till ett angivet mål, så att att flytta den betyder något. Den är mätbar: en exakt definition, en namngiven sanningskälla (det auktoritativa registersystemet), en enhet och en insamlingsmetod, så att två personer som beräknar den var för sig kommer fram till samma tal. Den är handlingsbar: det ägande teamet har spakar som faktiskt flyttar den. Den är ägd: en ansvarig person eller ett team äger dess trend, dess definition och dess datakvalitet. Ett mått som faller på något av de fyra testerna är en kandidat för borttagning, inte en kandidat för en panel. Det mesta av måttröran i stora organisationer är tal som faller på minst två av dessa och aldrig avvecklades.

Klassificera mått efter tidpunkt och värdekedja

Två linser håller en KPI-uppsättning balanserad. Den första är tidpunkt. En ledande indikator är prediktiv och kan flyttas nu (provperiodsanmälningar, slutförd introduktion). En eftersläpande indikator är bekräftande och långsam (årlig intäkt, kundbortfall). Ledande indikatorer låter er styra innan de eftersläpande levererar en dom ni inte längre kan ändra. Den andra linsen är värdekedjan. Ett indatamått mäter nedlagd insats (arbetade timmar, satsade pengar). Ett outputmått mäter vad systemet producerade (levererade funktioner, stängda ärenden). Ett utfallsmått mäter förändringen ni faktiskt ville ha (behållen intäkt, minskad väntetid). Team dras mot indata och output eftersom de är lätta att räkna och helt inom deras kontroll, men värdet bor i utfall. Väg er uppsättning mot utfall och behandla en panel som enbart består av output som en varningssignal.

Designa mått som motstår manipulation

Anta Goodharts lag: när ett mått blir ett mål slutar det vara ett bra mått. Designa mot den från början i stället för att reagera efter att förvrängningen dykt upp.

  • Föredra kvoter och takter framför råa antal. “Stängda ärenden” belönar volym. “Andel lösta vid första kontakt” belönar lösning. Ett rått antal kan manipuleras genom att göra mer av något värdelöst.
  • Använd kohorter. En kohort är en grupp definierad av en gemensam startpunkt (alla användare som registrerade sig i mars). Att rapportera per kohort hindrar en nedåtgående trend från att gömma sig i ett smickrande aggregat som en stark nyligen månad håller uppe.
  • Para varje incitamentsstyrd KPI med ett skyddsräcke. Ett skyddsräckesmått är ett parat motmått som inte får försämras medan ni pressar det primära: handläggningstid per samtal parad med kundnöjdhet, aktivering parad med supportbelastning. Skyddsräcket gör fusk synligt dyrt.

Avvisa fåfängemått och kräv handlingsbarhet

Ett fåfängemått stiger pålitligt, ser imponerande ut och ändrar inget beslut: kumulativt antal registrerade användare, sidvisningar, kodrader. Kännetecknen är konsekventa. Det går bara upp. Det är ett absolut antal snarare än en kvot. Och det har inget svar på frågan “vad skulle vi göra annorlunda om det här talet fördubblades?” Ett handlingsbart mått knyter däremot till ett specifikt beteende ni kan påverka och till ett beslut det skulle ändra. Innan ni adopterar någon KPI, fråga vilken handling en god och en dålig avläsning vardera skulle utlösa. Om båda avläsningarna leder till samma beteende, kassera måttet. Det testet ensamt kommer att krympa de flesta föreslagna paneler till hälften.

Bygg ett KPI-träd under ett enda ledstjärnemått

Följ inte KPI som en platt lista. Ordna dem som ett KPI-träd (eller måttträd): ett toppmått uppdelat i de mått som matematiskt eller kausalt driver det, nivå för nivå, ned till de operativa mått som enskilda team äger. Trädet talar om vilket lägre mått ni ska undersöka när ett övre rör sig, vilket förvandlar “talet är nere” till “det här navets uppehållstid är orsaken.” Allra överst, namnge ett enda ledstjärnemått: måttet som bäst fångar det kärnvärde som levereras till kunder. För en marknadsplats kan det vara slutförda transaktioner, för en produkt veckovis aktiv användning av kärnfunktionen. Ett ledstjärnemått linjerar insatsen och hindrar avdelningar från att optimera motstridiga lokala tal, men bara om det mäter värde snarare än fåfänga, och bara om skyddsräcken balanserar det. Om ert toppmått kunde fortsätta stiga medan kunder fick mindre värde är det fåfänga klädd som strategi.

Sätt utgångslägen, mål och trösklar

En KPI utan referenspunkt är bara ett tal på en skärm. Ge varje KPI tre referenser. Ett utgångsläge är det nuvarande eller historiska värdet, så att en förändring är meningsfull snarare än mystisk. Ett mål är värdet ni avser nå, med ett datum. Trösklar utlöser handling innan ett mål vunnits eller förlorats: en varningströskel föranleder uppmärksamhet, och en kritisk tröskel föranleder ingripande. Förankra mål i belägg (en tidigare trend, en extern jämförelse eller en kapacitetsmodell) snarare än rundtalsoptimism och skriv ned resonemanget. Nedskrivet resonemang är det som låter en miss lära er något i stället för att bara göra er besvikna, eftersom ni kan jämföra vad som hände mot antagandet som satte målet.

Visualisera ärligt på paneler

En KPI-panel ska låta en läsare förstå status och trend på sekunder utan att bli vilseledd. Visa trend över tid, inte en ensam ögonblicksbild. Börja värdeaxlar på noll om ni inte har ett angivet skäl att inte göra det, eftersom avkortade axlar förstorar små förändringar till dramatiska. Visa variation och osäkerhet snarare än falsk precision. Annotera sammanhang så att en läsare kan skilja ett verkligt skifte från brus: driftsättningar, incidenter, säsongsvariation, policyändringar. Undvik diagramtrick som smickrar ett tal: dubbla axlar som antyder en korrelation, handplockade datumintervall och 3D-effekter som förvränger proportioner. Dessa vanor kopplar direkt till analys och business intelligence (kapitel 7.3) och till produktanalys och experimentering (kapitel 7.4), där samma ärlighetsstandarder styr hur ni läser vad ett mått säger er.

Adoptera de operativa KPI-vokabulärerna

Operativ hälsa har väletablerade KPI-vokabulärer ni bör återanvända snarare än uppfinna på nytt. Från platsförlitlighetsteknik (kapitel 9.1): en servicenivåindikator (SLI) är en uppmätt signal om tjänstens hälsa (latens, lyckandegrad). Ett servicenivåmål (SLO) är målintervallet för en SLI (99,9 % av förfrågningarna lyckas). Och felbudgeten är det tillåtna underskottet (de 0,1 % ni får spendera på risk innan ni slutar leverera och stabiliserar). Från leveransflödet (kapitel 11.2): flödesmått följer arbete genom systemet (flödestid, genomströmning, pågående arbete, flödeseffektivitet), och de fyra måtten från DevOps Research and Assessment-programmet (DORA) parar fart med stabilitet: driftsättningsfrekvens, ledtid för ändringar, ändringsmisslyckandefrekvens och tid till återställning av tjänsten. Båda vokabulärerna sätter fart bredvid stabilitet av design, så att inget team kan posta ett stort velocity-tal genom att i tysthet offra tillförlitlighet. Dessa samma operativa KPI matar arbetet med ingenjörseffektivitet och utvecklarproduktivitet (kapitel 1.10).

Uppfyll offentliga skyldigheter att rapportera resultat

Myndigheter lägger till ett särskilt krav: KPI är ofta publicerade resultatmått som rapporteras till lagstiftande församlingar, tillsynsorgan och allmänheten, ibland enligt lag. Behandla dessa med extra stringens. Håll definitionen stabil över rapporteringsperioder, så att en trend är genuint jämförbar år för år. Dokumentera metodiken och datakällan. Var ärlig om begränsningar. Eftersom ett publicerat mått skapar starka incitament är det särskilt utsatt för Goodhart-förvrängning: ett mål att minska en väntelista uppnås genom att omdefiniera vem som räknas som väntande. Para varje publicerat mått med skyddsräcken och granska själva definitionen, inte bara talet. Den viktigaste frågan om en offentlig KPI är ofta inte “förbättrades det?” utan “mäter det fortfarande vad det påstod sig mäta?”

Avvägningar: för- och nackdelar

ValFördelarNackdelar
UtfallsmåttLinjerar insats mot verklig påverkan. Svåra att manipuleraSvåra att definiera. Långsamma, brusiga. Attribuering är svår
Indata-/outputmåttLätta att mäta. Tydligt ägarskap. Snabb återkopplingBelönar aktivitet framför påverkan. Svag koppling till värde
Ledande indikatorerLåter er styra tidigtPrediktiva, alltså brusigare och mindre säkra
Eftersläpande indikatorerAuktoritativ bekräftelseKommer för sent för att ändra resultatet
Få KPIFokus, tydlighet, lätta att kommuniceraKan missa dimensioner. Blinda fläckar
Många KPIBred täckning. Färre överraskningarUtspädd uppmärksamhet. Panelutmattning. Motstridiga signaler
Offentlig resultatrapporteringAnsvarsskyldighet, transparens, förtroendeStarkt manipulationstryck. Definitioner blir politiska

Den centrala spänningen är fokus mot täckning, skärpt av motivation mot förvrängning. Ni vill ha tillräckligt många mått för att se hela bilden, få nog för att ett team faktiskt kan agera på dem och vart och ett skyddat så att själva incitamentsstyrningen inte korrumperar det. Lös spänningen genom att hålla en liten uppsättning ägda, utfallsviktade KPI ordnade i ett träd under ett ledstjärnemått och genom att para varje incitamentsstyrt mått med ett skyddsräcke. Täckning kommer då från trädets struktur snarare än från det rena antalet mått på skärmen.

Frågor att diskutera med ditt team

  1. Har ni ett enda ledstjärnemått, och mäter det levererat värde eller bara aktivitet? En platt lista KPI låter avdelningar optimera motstridiga lokala tal, medan ett ledstjärnemått linjerar alla kring det värde kunder faktiskt får: slutförda transaktioner för en marknadsplats, aktivering för en produkt. Fråga om ert toppmått skulle fortsätta stiga om kunder fick mindre värde, för om det kan det är det fåfänga klädd som strategi. I en stor organisation är ledstjärnemåttet det som hindrar ett teams vinst från att bli ett annat teams förlust, så det måste sitta överst i ett KPI-träd av de operativa mått team kontrollerar. Ta med ert nuvarande toppmått och försök spåra det ned till vad varje team äger. Om trädet inte hänger ihop är ledstjärnemåttet dekoration snarare än en styrmekanism.

  2. För varje incitamentsstyrd KPI, vad är det billigaste sättet att manipulera den, och vilket skyddsräcke skulle avslöja fusket? Varje mått ni kopplar en belöning eller ett anseende till inbjuder till optimering av talet snarare än utfallet, och den billigaste vägen är sällan den ni avsåg. Sätt er ned och designa, för varje KPI, medvetet exploateringen: hur skulle ett rationellt team få det här talet att se bra ut medan det gör mindre av det ni faktiskt vill ha? Namnge sedan motmåttet som skulle fånga det (handläggningstid parad med nöjdhet, aktivering parad med supportärenden, fart parad med felfrekvens). Den här övningen spelar störst roll för de mått ni rapporterar uppåt eller publicerar, eftersom de bär de starkaste incitamenten och därmed det starkaste förvrängningstrycket. Om ni inte kan namnge ett skyddsräcke för en KPI är ni inte redo att incitamentsstyra den ännu.

  3. Är era mål förankrade i belägg, och skrev ni ned resonemanget bakom vart och ett? En KPI utan utgångsläge är bara ett tal, och ett mål satt till en rund siffra för att det lät ambitiöst kan inte tolkas när ni missar. Kontrollera för varje KPI att den bär ett utgångsläge, ett mål med datum, varnings- och kritiska trösklar och ett nedskrivet motiv hämtat från en tidigare trend, en jämförelse eller en kapacitetsmodell. Detta spelar störst roll för mått som bär lagstadgad eller avtalsmässig tyngd, där “betala 90 % av giltiga ansökningar inom 21 dagar” måste vara försvarbart snarare än ambitiös gissning. Ta med era nuvarande mål och fråga för vart och ett “varför det här talet och inte ett högre eller lägre?” Om svaret är tystnad var målet optimism, och en miss kommer inte att lära er något.

  4. Om ni måste försvara varje mått på er huvudpanel, vilka skulle överleva, och vad kostar varje oanvänt er? Varje KPI bär en återkommande kostnad: instrumentering, flöden, en panelruta och en bit uppmärksamhet i varje granskning, så en uppsättning som växt genom ackumulering beskattar i tysthet organisationen utan att någon beslutat att den ska göra det. Spänningen är fokus mot täckning: för få mått och ni utvecklar blinda fläckar, för många och inget team kan agera på något av dem. Ta med hela inventariet och svara för varje mått på vilket beslut en god eller dålig avläsning skulle utlösa. De utan svar är dekoration ni betalar för att underhålla. För ett företag med dussintals teampaneler, eller en myndighet som rapporterar mot ett lagstadgat ramverk, spelar disciplinen att avveckla mått lika stor roll som att lägga till dem, eftersom ett oanvänt publicerat mått fortfarande inbjuder till manipulation och fortfarande måste försvaras vid revision.

  5. Hur stor andel av er panel mäter utfallet ni faktiskt ville ha, snarare än insatsen ni lade ned eller outputen ni producerade? Team glider mot indata och output eftersom de är lätta att räkna och ligger helt inom ett teams kontroll, men värdet bor i utfall, som är långsammare, brusigare och svårare att attribuera. Räkna rutorna: om en panel nästan helt består av levererade funktioner och stängda ärenden och loggade timmar mäter den aktivitet och kallar det prestation. Ta med varje mått klassificerat som indata, output eller utfall och var ärliga om vilka beslut som skulle ändras om bara utfallet rörde sig. I en stor organisation är denna balans där lokal optimering gömmer sig, eftersom en division kan posta utmärkta outputtal i åratal medan utfallet finansiären bryr sig om, behållen intäkt eller minskad väntetid, i tysthet eroderar. I myndigheter är en rapport med enbart output (“levererade moduler”) precis det svar som tillsynsorgan har lärt sig misstro.

  6. Vem äger för varje KPI dess definition och sanningskälla, och skulle två team som beräknar den oberoende komma fram till samma tal? Ett mått utan en ansvarig ägare och ett auktoritativt registersystem blir ett stående gräl, eftersom två grupper rapporterar “aktiva användare” från olika frågor och lägger mötet på att stämma av tal i stället för att hantera trenden. Det konkurrerande draget är autonomi mot konsekvens, eftersom team vill instrumentera på sitt eget sätt, men en KPI som betyder olika saker i olika rum kan inte rullas upp till ett gemensamt ledstjärnemått. Ta med definition, enhet, sanningskälla och namngiven ägare för varje mått och testa några genom att låta två personer beräkna dem kallt. För företag som rullar upp mått över affärsenheter, och för myndighetsmått som hålls stabila över rapporteringsperioder enligt lag, är en driftande eller omstridd definition inte en olägenhet utan felet som gör en hel resultatrapport oförsvarbar.

Sektorsperspektiv

Startup. Med en handfull människor och lite livslängd bör hela din företagspanel rymmas på en skärm: ett enda ledstjärnemått som mäter om kunder fortsätter få värde, dess två eller tre drivare och ett skyddsräcke. Avveckla fåfängeantal som kumulativa registreringar tidigt, innan de formar beslut, och kohortera ledstjärnemåttet per registreringsvecka så att en stark lansering inte kan dölja kundbortfallet under. Fart spelar större roll än en rik måttuppsättning, så instrumentera bara de få tal du faktiskt kommer att agera på och hoppa över resten.

Småföretag. Du har sannolikt ingen analytiker och ingen tid att bygga flöden, så luta dig mot de KPI-vokabulärer som redan finns inbakade i verktygen du äger: panelerna i ditt kassasystem, din support- eller din bokföringsprogramvara. Välj två eller tre mått som motsvarar överlevnad (återköpsgrad, kassadagar i behåll, leverans i tid) och ge vart och ett ett utgångsläge och ett mål i stället för att se råa antal driva. Föredra kvoter du kan läsa med en blick framför rapporter du måste sätta ihop för hand.

Storföretag. Problemet är dussintals team som optimerar motstridiga lokala tal, så arbetet är ett KPI-träd under ett ledstjärnemått, exakta definitioner med en namngiven sanningskälla och ett skyddsräcke på varje incitamentsstyrt mått. Standardisera definitioner så att ett mått rullar upp rent över affärsenheter, integrera operativa SLI:er, SLO:er och DORA-mått med affärs-KPI och styr uppsättningen som en portfölj som rensas, inte bara växer. Granska definitioner, inte bara tal, eftersom ett i tysthet omdefinierat mått i skala vilseleder tusentals människor på en gång.

Offentlig sektor. KPI är ofta publicerade resultatmått som rapporteras till lagstiftande församlingar enligt lag, så håll varje definition stabil över perioder, dokumentera metodiken och datakällan och var ärlig om begränsningar. Publicerade mål bär det starkaste manipulationstrycket, så para vart och ett med skyddsräcken och beställ en oberoende granskning av själva definitionen som bekräftar att (till exempel) sökande som fortfarande väntar inte omklassificeras bort ur antalet. Definiera framgång som medborgarutfall snarare än levererade moduler, eftersom “vi levererade uppdragsbeskrivningen” inte är något svar till en lagstiftande församling som frågar om väntetider eller bedrägerier faktiskt förbättrades.

Exempel

Startup. Ett startup på sex personer med en produktivitetsapp firar ett stigande diagram över “totalt antal registrerade användare” tills en styrelseledamot frågar om någon faktiskt fortsätter använda produkten. De avvecklar det fåfängeantalet och adopterar 7-dagars aktivering som sitt ledstjärnemått, kohorterat per registreringsvecka så att en stark lansering inte kan dölja kundbortfallet under. De ger det ett utgångsläge (25 %), ett mål (45 %) och varnings- och kritiska trösklar, och de parar det med ett skyddsräcke (supportärenden per aktiv användare) så att de inte kan pumpa upp aktiveringen med ett påträngande introduktionsflöde. Hela företagspanelen ryms på en skärm: ledstjärnemåttet, dess två drivare och skyddsräcket. När KPI:n trendar mot varningströskeln vet de från trädet vilken drivare de ska undersöka först.

Storföretag. Ett globalt logistikföretag adopterar andelen leveranser i tid som sitt ledstjärnemått och bygger ett KPI-träd under det: upphämtningspunktlighet, navens uppehållstid och sista-milen-framgång, var och en ägd av en namngiven regional chef med ett utgångsläge, ett mål och varnings- och kritiska trösklar. Varje fartmått parar med ett skyddsräcke, så att andelen i tid reser med skadefrekvens och ingen region kan nå sitt tal genom att skynda paket in i skador. Plattforms-SLO:er (99,95 % tillgänglighet för spårnings-API:t, kapitel 9.1) och DORA-mått (kapitel 11.2) sitter på ingenjörspanelen bredvid affärs-KPI. När andelen i tid sjunker mot sin varningströskel i en region pekar trädet ut det navets uppehållstid som orsaken, och åtgärden blir riktad snarare än en företagsövergripande villervalla. Måtten teamet beslutar att flytta detta kvartal blir nyckelresultat i teamets OKR (kapitel 11.4). Resten förblir stående skyddsräcken.

Offentlig sektor. En delstatlig arbetslöshetsförsäkringsmyndighet rapporterar mediandagar från ansökan till första utbetalning som sitt publicerade resultatmått, kohorterat per ansökningsmånad så att ett bra kvartal inte kan maskera en förvärrad kö, snarare än fåfängeantalet “handlagda ansökningar.” Den parar måttet med skyddsräcken (utbetalningsnoggrannhet och andel överklaganden som ändrar beslutet) så att fart inte kan köpas med fel. Definitionen av “mediandagar” är fryst över år och dokumenterad offentligt, och en oberoende granskning kontrollerar själva definitionen och bekräftar att sökande som fortfarande väntar inte i tysthet omklassificeras bort ur antalet. Frontlinje-SLI:er (portalens drifttid, andel besvarade samtal) matar den operativa panelen under de publicerade måtten. Eftersom framgång definieras som sökandeutfall snarare än levererade moduler kan myndigheten visa sin lagstiftande församling mätbart offentligt värde som överlever granskning.

Affärsnytta: motiv, ROI och TCO

Avkastningen på en god KPI kommer från fokus och linjering, som undviker den största dolda kostnaden i stora organisationer: många team som arbetar hårt, i tid, med saker som inte driver strategin framåt. När den lilla uppsättning mått som spelar roll är uttrycklig och synlig kommer duplicerad insats i dagen, motstridiga lokala mål förenas innan de kolliderar och lågvärdigt arbete förlorar sitt skydd. En stor organisations dyraste resurs är människornas linjerade uppmärksamhet, och den dominerande avkastningen på KPI är omdirigerad kapacitet.

Kostnaden för den fel KPI är inte panelen. Det är kvartal av insats som optimerar ett tal medan det verkliga utfallet eroderar, plus kostnaden för att nysta upp det manipulerade beteendet efteråt. Ett kontaktcenter som ägnade ett år åt att minimera handläggningstid medan det maximerade upprepade kontakter producerade en negativ avkastning helt genom ett enda välmenande mått och fick sedan bygga om både processen och personalens förtroende.

Total ägandekostnad (TCO) för en KPI är blygsam men verklig och återkommande. Varje mått bär en löpande kostnad: instrumentering och flöden för att samla in det, paneler för att visa det, granskningsmöten för att diskutera det och den mentala belastningen av ännu en sak att bevaka. Den återkommande kostnaden är det starkaste argumentet för en liten uppsättning där varje KPI förtjänar sin plats, eftersom ett oanvänt mått fortfarande kostar pengar att underhålla. Håll uppsättningen liten, definitionerna exakta och skyddsräckena på plats, så betalar era KPI tillbaka sin overhead många gånger om i undvikna felriktningar.

Antimönster och fallgropar

  • Fåfängemått: kumulativa antal som bara stiger och inte ändrar något beslut.
  • Måttfixering: beteende optimerar talet, inte utfallet, eftersom inget skyddsräcke avslöjar gapet.
  • Oägda eller illa definierade KPI: ingen ansvarig person, eller två team som beräknar “aktiv användare” olika och grälar i stället för att hantera.
  • Paneler med enbart output: allt som mäts är vad teamet producerade. Inget mäter förändringen det orsakade.
  • En platt lista utan träd: dussintals mätare och inget ledstjärnemått, så att ett tal som rör sig inte ger någon ledtråd om var man ska titta.
  • Rundtalsmål utan motiv: ett mål valt för att det lät djärvt, omöjligt att tolka när det missas.
  • Oärliga diagram: avkortade eller dubbla axlar, handplockade fönster och 3D-effekter som tillverkar en berättelse.
  • Publicerade mått manipulerade genom omdefiniering: ett väntelistemål som nås genom att ändra vem som räknas som väntande.
  • Att förväxla KPI med OKR: att behandla ett stående hälsomått som ett kvartalsvis förändringsmål, eller tvärtom (kapitel 11.4).

Mognadsmodell

  • Nivå 1, Initiera: Mått är mestadels fåfängeantal utan utgångslägen, mål, ägare eller gemensamma definitioner. Paneler visar ögonblicksbilder utan trend, rapportering är reaktiv och ad hoc och ingen kan säga vilket tal som spelar mest roll.
  • Nivå 2, Utveckla: KPI finns för vissa team med utgångslägen och mål, men de är mestadels output, definitioner varierar mellan team och skyddsräcken saknas. Praxisen är inkonsekvent i organisationen, och manipulation dyker upp och förblir oigenkänd som manipulation.
  • Nivå 3, Standardisera: En sammanhängande, ägd KPI-uppsättning har exakta definitioner och en namngiven sanningskälla, dokumenterade och upprätthållna i hela organisationen. Mått klassificeras som ledande eller eftersläpande och indata, output eller utfall. Incitamentsstyrda mått paras med skyddsräcken. Och diagram följer standarder för ärlig visualisering i varje team.
  • Nivå 4, Hantera: Själva KPI-uppsättningen mäts och styrs mot utgångslägen. Definitionsnoggrannhet, felfrekvens i datakvalitet och hur ofta varje mått manipuleras följs över tid. Mål granskas mot belägg varje cykel. Varnings- och kritiska trösklar utlöser dokumenterade ingripanden. Och definitioner granskas så att ett publicerat mått fortfarande mäter vad det påstod. Goodhart-effekter övervakas medvetet snarare än upptäcks efter skadan.
  • Nivå 5, Orkestrera: Ett KPI-träd knyter frontlinjemått till ett enda ledstjärnemått. Utfallsmått dominerar uppsättningen. Och operativa SLI:er, SLO:er samt DORA- och flödesmått integreras med affärs-KPI. Måtten ett team väljer att flytta matar rent in i dess OKR (kapitel 11.4), och organisationen avvecklar, ersätter och avgränsar om KPI kontinuerligt när strategi och riskbild skiftar.

Idéer för diskussion

  1. Vilka av era KPI skulle fortsätta stiga även om produkten eller tjänsten blev sämre?
  2. För varje incitamentsstyrd KPI, vad är det billigaste sättet att manipulera den, och vilket skyddsräcke skulle avslöja fusket?
  3. Hur många av era panelmått är utfall, och hur många är indata eller output ni räknar för att de är lätta?
  4. Vilka av era mått saknar en ägare eller en enda överenskommen definition, och vad har den tvetydigheten kostat er i gräl?
  5. För ett mått ni rapporterar eller publicerar, kunde målet nås genom att omdefiniera måttet snarare än förbättra utfallet?
  6. Om ni måste skära ned er panel till fem mått, vilka skulle överleva, och sitter ett ledstjärnemått överst bland de fem?

Viktigaste punkter

  • En KPI är ett mått valt för att det speglar ett mål ni vill skydda. En god sådan är linjerad, mätbar, handlingsbar och ägd.
  • OKR är förändringen ni vill ha, KPI är hälsan ni vidmakthåller. För OKR, takt och gradering, se kapitel 11.4.
  • Klassificera mått som ledande eller eftersläpande och indata, output eller utfall, och väg er uppsättning mot utfall.
  • Anta Goodharts lag: para varje incitamentsstyrd KPI med ett skyddsräcke och föredra kvoter och kohorter framför råa antal.
  • Avvisa fåfängemått. Organisera KPI i ett träd under ett enda ledstjärnemått. Ge varje ett utgångsläge, mål och trösklar.
  • Visualisera ärligt (kapitel 7.3 och 7.4) och återanvänd operativa vokabulärer: SLI:er, SLO:er och felbudgetar (kapitel 9.1) samt DORA- och flödesmått (kapitel 11.2).
  • I myndigheter, behandla publicerade mått med extra definitionsstringens och granska definitionen, inte bara talet.

Referenser och vidare läsning

  • Key Performance Indicators: Developing, Implementing, and Using Winning KPIs, by David Parmenter (a practical framework for selecting and structuring KPIs).
  • Lean Analytics, by Alistair Croll and Benjamin Yoskovitz (vanity versus actionable metrics, and the One Metric That Matters).
  • The Lean Startup, by Eric Ries (actionable versus vanity metrics, and cohort analysis).
  • How to Measure Anything, by Douglas W. Hubbard (defining and quantifying the seemingly unmeasurable).
  • The Visual Display of Quantitative Information, by Edward R. Tufte (honest, high-integrity data graphics).
  • Site Reliability Engineering, by Betsy Beyer, Chris Jones, Jennifer Petoff, and Niall Richard Murphy, eds. (SLIs, SLOs, and error budgets).
  • Accelerate, by Nicole Forsgren, Jez Humble, and Gene Kim (the DORA delivery and stability metrics).
  • Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): the origin of Goodhart’s law; see also Marilyn Strathern’s widely quoted formulation.
  • U.S. Government Accountability Office (GAO) guidance on performance measurement and the GPRA Modernisation Act: public-sector performance-reporting practice.