3.5 Graddadwyedd, perfformiad, a gwydnwch

Trosolwg a chymhelliant

Mae graddadwyedd, perfformiad, a gwydnwch yn dair ansawdd wahanol, ac mae pobl yn aml yn eu cymysgu â’i gilydd. Perfformiad yw pa mor gyflym y mae’r system yn ymateb a faint o waith y mae’n ei wneud fesul uned adnodd. Graddadwyedd yw pa mor dda y mae’n cynnal perfformiad wrth i lwyth dyfu. Gwydnwch yw pa mor dda y mae’n parhau i weithio, neu’n dirywio’n raslon, pan fydd pethau’n methu. Gall system fod yn gyflym ond yn anraddadwy (gwych ar lwyth isel, yn chwalu ar lwyth uchel), yn raddadwy ond yn fregus (yn trin cyfaint ond yn syrthio pan fydd un gydran yn methu), neu’n wydn ond yn araf. Mae angen y tri ar sefydliad mawr, wedi’u dylunio i mewn o’r cychwyn, oherwydd mae ôl-osod unrhyw un ohonynt ar ôl lansio’n ddrud ac yn aflonyddgar.

I systemau menter a llywodraeth, mae canlyniadau cael y rhain yn anghywir yn gyhoeddus ac yn ddifrifol. Meddyliwch am borth budd-daliadau sy’n plygu ar ddiwrnod cyntaf cynllun newydd, system ffeilio treth sy’n dod i ben cyn amser wrth y dyddiad cau, neu blatfform taliadau sy’n mynd i lawr yn ystod y siopa brig. Dyma’r methiannau sy’n gwneud penawdau, yn sbarduno ymchwiliadau, ac yn erydu ymddiriedaeth gyhoeddus. Mae’r systemau hyn hefyd yn wynebu llwyth uchel iawn ei bigyn, sydd yn aml wedi’i amseru’n gyfreithiol (dyddiadau cau ffeilio, cyfnodau cofrestru, diwrnodau cyflog) a rhwymedigaethau argaeledd ac adfer llym. Rhaid i chi gynllunio capasiti ar gyfer cynyddiadau rhagweladwy, dirywio’n raslon dan rai annisgwyl, ac adfer o fewn terfynau amser a cholled data diffiniedig ar ôl trychineb. Peirianneg gyda dimensiwn atebolrwydd cyhoeddus yw hyn.

Mae’r bennod hon yn ymdrin â graddio llorweddol yn erbyn fertigol, diffyg cyflwr a rhannu darniog fel galluogwyr graddfa, cydbwyso llwyth, awtoraddio a chynllunio capasiti, peirianneg perfformiad gyda chyllidebau eglur, patrymau gwydnwch a pheirianneg anhrefn, ac adfer trychineb aml-ranbarth wedi’i fframio gan RTO, RPO, a pharhad busnes. Y neges gyfunol yw mai cynnyrch dyluniad bwriadol a phrofi parhaus yw’r ansoddau hyn, nid gobaith.

Gweler hefyd: pennod 3.3 (systemau dosbarthedig), pennod 9.1 (peirianneg dibynadwyedd safle), a phennod 9.2 (arsylladwyedd a monitro).

Egwyddorion allweddol

Dyluniwch ar gyfer graddio-allan, nid graddio-i-fyny. Mae gan raddio fertigol nenfwd a phwynt methiant sengl; graddio llorweddol yw sut rydych chi’n cyrraedd graddfa fawr, wydn.
Diffyg cyflwr yw’r galluogwr graddfa llorweddol. Os gall unrhyw gais fynd i unrhyw enghraifft, gallwch ychwanegu a thynnu capasiti’n rhydd.
Ni allwch wella’r hyn nad ydych yn ei fesur. Caiff gwaith perfformiad ei yrru gan broffilio a phrofi llwyth yn erbyn cyllidebau eglur, byth gan ddyfalu.
Mae popeth yn methu; dyluniwch ar ei gyfer. Tybiwch y bydd cydrannau’n methu ac adeiladwch fel bod y system yn goroesi eu methiant.
Mae dirywiad graslon yn curo methiant caled. Mae system sy’n gweithio’n rhannol sy’n taflu nodweddion nad ydynt yn hanfodol yn well na thoriad gwasanaeth llwyr.
Cynllunnir capasiti, amsugnir cynyddiadau. Rhagolygwch lwyth rhagweladwy; defnyddiwch awtoraddio a lle wrth gefn ar gyfer y gweddill.
Penderfyniadau busnes yw amcanion adfer. Dewisir RTO a RPO gan y busnes yn erbyn cost, yna eu peiriannu tuag atynt.
Profwch wydnwch yn fwriadol. Ni wyddoch fod system yn wydn hyd nes eich bod wedi ei gwneud i fethu’n fwriadol.

Argymhellion

Ffafriwch raddio llorweddol a dylunio gwasanaethau di-gyflwr

Mae graddio fertigol (peiriannau mwy) yn syml ac weithiau’n gam cyntaf cywir, ond mae’n taro nenfwd caled, yn dod yn anghymesur o ddrud ar y pen uchaf, ac yn gadael pwynt methiant sengl. Mae graddio llorweddol (mwy o beiriannau y tu ôl i gydbwysydd llwyth) yn graddio ymhellach o lawer ac yn gwella argaeledd, oherwydd gellir goroesi colli un enghraifft. Y rhagofyniad yw diffyg cyflwr. Peidiwch â chadw unrhyw gyflwr sesiwn cleient neu gais ar yr enghraifft; gwthiwch ef i storfa a rennir (cronfa ddata, storfa gyflym, tocyn). Gellir ychwanegu, tynnu, disodli, a chydbwyso llwyth gwasanaethau di-gyflwr yn rhydd, a dyna beth sy’n gwneud awtoraddio a defnyddio treigl yn bosibl ill dau. Lle mae’n rhaid rhannu cyflwr, rhannwch yn ddarniau yn ôl allwedd sy’n dosbarthu llwyth yn gyfartal ac yn cadw data cysylltiedig ar yr un darn.

Cydbwyso llwyth, awtoraddio, a chynllunio capasiti

Rhowch gydbwysydd llwyth o flaen pob haen a raddiwyd i ddosbarthu traffig a llwybro o gwmpas enghreifftiau afiach trwy wiriadau iechyd. Ffurfweddwch awtoraddio i ychwanegu capasiti pan fydd dangosydd arweiniol (CPU, dyfnder ciw ceisiadau, oedi) yn croesi trothwy a’i dynnu pan fydd llwyth yn gostwng. Tiwniwch gyflymder graddio ac amseroedd oeri fel nad ydych chi’n llusgo ar ôl pigyn nac yn ysgwyd yn ôl ac ymlaen. Nid yw awtoraddio’n eilydd ar gyfer cynllunio capasiti. Ar gyfer cynyddiadau rhagweladwy, hollbwysig i fusnes (dyddiadau cau treth, cyfnodau cofrestru, digwyddiadau gwerthu), rhagolygwch y llwyth, darparwch neu gynheswch gapasiti ymlaen llaw, a phrofwch lwyth i’r targed hwnnw ymlaen llaw. Ni all awtoraddio yn unig ymateb ar unwaith i newid gris, ac mae dechreuadau oer yn ychwanegu oedi’n union pan allwch chi ei fforddio leiaf. Cadwch le wrth gefn bob amser. Mae rhedeg ar 100% yn gadael dim lle i amsugno pigau na methiannau.

Peirianneg perfformiad yn erbyn cyllidebau eglur

Gosodwch gyllidebau perfformiad (targedau pendant fel oedi API p95 o dan 200ms, tudalen ryngweithiol o dan 2 eiliad, neu gost fesul trafodiad o dan drothwy) a’u gorfodi mewn profi a monitro fel bod atchweliadau’n methu’r biblinell yn hytrach na chyrraedd defnyddwyr. Gyrrwch optimeiddio gyda mesur. Proffiliwch i ddod o hyd i’r dagfa wirioneddol, sydd anaml lle rydych chi’n dyfalu, a phrofwch lwyth i ddod o hyd i le mae’r system yn torri a sut mae’n ymddwyn ger y terfyn hwnnw. Canolbwyntiwch ar y llwybr critigol a’r gynffon (p95/p99), oherwydd ar raddfa fawr mae oedi’r gynffon yn dominyddu profiad defnyddiwr. Optimeiddiwch y dagfa fwyaf yn gyntaf, ail-fesurwch, a stopiwch pan fyddwch chi’n cyrraedd y gyllideb. Mae gor-optimeiddio cod sydd eisoes yn ddigonol yn ymdrech wastraffus.

Adeiladu patrymau gwydnwch a dilysu gyda pheirianneg anhrefn

Cymhwyswch y patrymau gwydnwch o systemau dosbarthedig: terfynau amser, ailgeisiadau cyfyngedig gydag encilio, torwyr cylched (sy’n methu’n gyflym pan fydd dibyniaeth yn afiach), a phenrhannau (sy’n ynysu pyllau adnoddau fel na all un methiant ddisbyddu’r gweddill), ynghyd â dirywiad graslon (taflu neu symleiddio nodweddion nad ydynt yn hanfodol dan straen: analluogi argymhellion, cyflenwi cynnwys wedi’i storio dros dro, ciwio gwaith nad yw’n frys) a thaflu llwyth (gwrthod neu dagu ceisiadau dros ben i ddiogelu’r craidd yn hytrach na chwalu’n llwyr). Dilëwch bwyntiau methiant sengl trwy ddiswyddogaeth ym mhob haen. Yna dilyswch wydnwch gyda pheirianneg anhrefn. Chwistrellwch fethiannau’n fwriadol (lladd enghreifftiau, ychwanegu oedi, torri dibyniaeth, methu parth) mewn arbrofion a reolir, gan ddechrau mewn prawf ac aeddfedu i ddiwrnodau gêm cynhyrchu, i brofi bod y system yn ymddwyn fel y’i dyluniwyd. Nid yw gwydnwch nas profwyd erioed ond yn rhagdybiaeth.

Cynllunio aml-ranbarth, adfer trychineb, a pharhad busnes

Penderfynwch yr amcanion adfer yn eglur: RTO (Amcan Amser Adfer, pa mor hir y gallwch fod i lawr) a RPO (Amcan Pwynt Adfer, faint o ddata y gallwch ei fforddio ei golli). Penderfyniadau busnes yw’r rhain gydag oblygiadau cost uniongyrchol, ac maent yn gyrru’r bensaernïaeth. Mae opsiynau’n amrywio o ran cost a chyflymder: wrth gefn-ac-adfer (rhataf, arafaf), golau peilot, wrth gefn cynnes, ac aml-ranbarth gweithredol-gweithredol (drutaf, RTO/RPO bron yn sero). Dewiswch yr haen y mae hollbwysigrwydd pob system yn ei chyfiawnhau. Nid oes angen gweithredol-gweithredol ar bopeth. Dyblygwch ddata ar draws rhanbarthau’n gyson â’r RPO a ddewiswyd, awtomeiddiwch fethu drosodd, ac, yn anad dim, profwch y methu drosodd yn rheolaidd. Mae adfer trychineb heb ei brofi’n methu’n ddibynadwy pan fydd ei angen o’r diwedd. Lapiwch hyn i gyd mewn cynllun parhad busnes sy’n cwmpasu pobl, cyfathrebiadau, a chynlluniau wrth gefn â llaw, nid dim ond technoleg.

Cyfaddawdau: manteision ac anfanteision

Dewis	Manteision	Anfanteision
Graddio fertigol	Syml, dim newid cod, ymdrech gychwynnol isel	Nenfwd caled, drud ar y brig, pwynt methiant sengl
Graddio llorweddol	Graddfa bron yn ddiderfyn, yn gwella argaeledd	Angen diffyg cyflwr, cydbwyso llwyth, mwy o weithrediadau
Awtoraddio	Yn cyfateb cost i alw, yn trin llwyth amrywiol	Yn ymateb ag oedi; dechreuadau oer; gall ysgwyd os wedi’i gam-diwnio
Aml-ranbarth gweithredol-gweithredol	RTO/RPO bron yn sero, yn goroesi colled ranbarthol	Cost a chymhlethdod uchaf, cysondeb data anodd
Adfer trychineb wrth gefn-ac-adfer	Rhataf, symlaf	RTO hir, ffenestr colli data fwy

Y prif gyfaddawd yw cost yn erbyn sicrwydd. Mae pob cynyddiad o le wrth gefn graddadwyedd, perfformiad, a gallu adfer yn costio arian a chymhlethdod, ac mae’r enillion yn anlinellol. Gall symud o 99.9% i 99.99% o argaeledd, neu o RTO awr i eiliadau, luosi cost. Y ddisgyblaeth yw meintioli pob buddsoddiad yn ôl hollbwysigrwydd gwirioneddol y system a goddefgarwch y busnes ar gyfer amser segur a cholli data, yn hytrach na pheirianneg popeth i’r haen uchaf yn reddfol. Mae system daliadau sy’n wynebu dinasyddion yn haeddu diswyddogaeth weithredol-weithredol; nid yw teclyn adrodd mewnol.

Cwestiynau i’w trafod gyda’ch tîm

Pan ddigwyddodd eich digwyddiad difrifol diwethaf, pa un o’r tri (perfformiad, graddadwyedd, gwydnwch) a fethodd mewn gwirionedd, ac a wnaethoch chi drwsio’r un cywir? Mae’r bennod yn eu gwahanu’n fwriadol: gall system fod yn gyflym ac eto chwalu dan lwyth, graddio ac eto syrthio pan fydd un gydran yn marw, neu oroesi methiannau tra’n araf. Mae timau’n aml yn camddiagnosio, gan ychwanegu capasiti at broblem wydnwch neu galedu system a oedd yn syml wedi’i thanddarparu ar gyfer cynnydd. Ewch trwy’r ddau ddigwyddiad difrifol diwethaf ac enwch pa ansawdd a dorrodd a beth wnaeth yr ymateb wella mewn gwirionedd. Mae’r gwahaniaeth yn newid yr ateb: diffyg cyflwr a rhannu darniog ar gyfer graddfa, diswyddogaeth a thorwyr cylched ar gyfer gwydnwch, proffilio a chyllidebau ar gyfer perfformiad. Mae cael y categori’n iawn yn wahaniaeth rhwng gwario ar y feddyginiaeth a gwario ar symptom.
A yw atchweliadau perfformiad yn methu eich piblinell, neu a ydyn nhw’n cyrraedd defnyddwyr cyn i unrhyw un sylwi? Dim ond os caiff ei orfodi’n awtomatig y mae cyllideb perfformiad (oedi p95, amser tudalen-ryngweithiol, cost fesul trafodiad) yn diogelu defnyddwyr, felly mae newid sy’n ei chwythu’n methu’r adeiladwaith yn hytrach na chael ei ryddhau. Mewn tîm mawr gyda llawer o gyfranwyr, mae oedi’n cropian i mewn trwy fil o ymrwymiadau bach, a heb borth mae’r gynffon yn pydru’n araf hyd nes i lansiad ei ddatgelu. Dewch â’ch cyllidebau cyfredol a gwiriwch a ydynt wedi’u weirio i mewn i CI a monitro, ac a ydynt yn targedu p95 a p99 yn hytrach na chyfartaleddau, oherwydd y gynffon yw’r hyn y mae defnyddwyr yn ei deimlo ar raddfa fawr. Lle nad oes cyllideb yn bodoli, gosod un yw’r symudiad cyntaf. Gorfodaeth yw’r hyn sy’n troi bwriad da’n briodwedd sy’n goroesi twf tîm.
Dan straen, beth sy’n cael ei daflu gyntaf, ac a wnaethoch chi ddylunio’r drefn honno neu a fyddwch chi’n ei darganfod yn y toriad gwasanaeth? Mae dirywiad graslon a thaflu llwyth yn golygu bod y system yn rhoi’r gorau i waith nad yw’n hanfodol i ddiogelu’r craidd, ond dim ond os ydych chi wedi penderfynu ymlaen llaw beth sy’n hanfodol. I wasanaeth sy’n wynebu dinasyddion, mae’r drefn honno’n aml yn benderfyniad polisi: rhaid i gyflwyno ffurflen dreth oroesi hyd yn oed os yw dangosfyrddau statws a chwiliadau hanesyddol yn diffodd. Os nad oes neb wedi dewis, mae’r system yn taflu beth bynnag sy’n methu gyntaf, a all fod yn union y peth y mae angen mwyaf arno defnyddwyr. Rhestrwch eich nodweddion mewn trefn flaenoriaeth a chadarnhewch y gall y bensaernïaeth ollwng y rhai blaenoriaeth isel (ymatebion wedi’u storio dros dro, argymhellion wedi’u hanalluogi, gwaith nad yw’n frys wedi’i giwio) heb fynd â’r llwybr critigol gyda nhw. Yna profwch ef dan lwyth go iawn, oherwydd nid yw dirywiad heb ei brofi ond yn obaith.
Ar gyfer eich system fwyaf hollbwysig, beth yw’r RTO a’r RPO, pwy a ddewisodd y ffigurau hynny mewn gwirionedd, a phryd wnaethoch chi brofi ddiwethaf y gallwch eu bodloni? Mae Amcan Amser Adfer (pa mor hir y gallwch fod i lawr) ac Amcan Pwynt Adfer (faint o ddata y gallwch ei fforddio ei golli) yn benderfyniadau busnes gydag oblygiadau cost uniongyrchol, ac eto mewn tîm mawr fe’u dyfeisir yn aml gan bwy bynnag a ysgrifennodd y llawlyfr gweithdrefnau yn hytrach na chael eu perchnogi gan y bobl sy’n atebol am y gwasanaeth. Y tyniad sy’n cystadlu yw cost yn erbyn sicrwydd: gall crebachu RTO o awr i eiliadau neu RPO o funudau i sero luosi’r bil seilwaith, felly’r ffigur cywir yw’r un y bydd y busnes yn wirioneddol yn talu amdano, nid yr un mwyaf trawiadol. Dewch â’r amcanion wedi’u dogfennu, dyddiad y prawf methu-drosodd go iawn diwethaf, a’r amser a’r golled data a fesurwyd a gynhyrchodd y prawf hwnnw, oherwydd mae amcan heb ei brofi’n ddymuniad. Mewn lleoliadau menter a llywodraeth gall y ffigurau hyn gael eu gosod gan statud, contract, neu SLA, felly enwch pwy sy’n eu cymeradwyo a p’un a wnaeth yr ymarfer diwethaf fodloni’r rhwymedigaeth neu ei cholli’n dawel.
Ar gyfer eich cynnydd rhagweladwy mwyaf, a ydych chi’n ymddiried mewn awtoraddio i ymateb yn y foment, neu a ydych wedi rhagolygu’r llwyth, darparu ymlaen llaw, a phrofi llwyth i’r targed hwnnw? Mae awtoraddio’n ymateb ag oedi ac mae dechreuadau oer yn ychwanegu oedi’n union pan allwch chi ei fforddio leiaf, felly newid gris hysbys (dyddiad cau ffeilio, ffenestr gofrestru, digwyddiad gwerthu) yw’n union yr achos lle mae graddio adweithiol yn methu a chynllunio capasiti bwriadol yn ennill. Y tensiwn yw cost: mae cynhesu capasiti ymlaen llaw ar gyfer brig yn golygu talu am le wrth gefn sy’n segur y rhan fwyaf o’r flwyddyn, a’r demtasiwn yw gobeithio y bydd awtoraddio’n ei gwmpasu am ddim. Dewch â ffigurau brig y llynedd, rhagolwg eleni gyda thwf, a chanlyniadau prawf llwyth a redwyd i luosrif o’r rhagolwg hwnnw yn hytrach nag i draffig cyfartalog heddiw. I wasanaeth llywodraeth neu fenter sy’n wynebu cynnydd wedi’i amseru’n gyfreithiol, ychwanegwch ganlyniad ei gael yn anghywir, gan fod porth budd-daliadau neu system dreth sy’n plygu ar y diwrnod cyntaf yn dod yn ymchwiliad cyhoeddus, nid dim ond prynhawn araf.
A ydych chi erioed wedi methu cydran yn fwriadol mewn cynhyrchu, ac a yw haen ddiswyddogaeth pob system yn wirioneddol gyfateb i’w hollbwysigrwydd a’i chost? Mae gwydnwch nas profwyd erioed yn rhagdybiaeth, ac mae’r haenau y gallwch eu prynu’n amrywio o wrth gefn-ac-adfer rhad trwy wrth gefn cynnes i aml-ranbarth gweithredol-gweithredol drud, felly’r ddisgyblaeth yw gwario sicrwydd lle mae’n cael ei gyfiawnhau yn hytrach na goreuro popeth neu ddiogelu dim. Yr ystyriaethau sy’n cystadlu yw radiws ffrwydrad a chyllideb: rhaid i arbrofion anhrefn gael cynwal diogelwch a switsh atal, ac mae gweithredol-gweithredol ar gyfer teclyn adrodd mewnol yn wastraff tra bo wrth-gefn-yn-unig ar gyfer platfform taliadau’n esgeulustod. Dewch â rhestr eiddo o’ch pwyntiau methiant sengl, haen ddiswyddogaeth pob system hollbwysig, a thystiolaeth o’r chwistrelliad methiant a reolwyd diwethaf a’r hyn a ddatgelodd. Mewn portffolios menter a llywodraeth, mapiwch bob haen i sgôr hollbwysigrwydd wedi’i ddogfennu fel y gall archwiliwr weld bod yr arian yn dilyn y risg, ac fel nad oes rhaid i neb amddiffyn y gwariant am y tro cyntaf yn ystod y toriad gwasanaeth.

Trwy lygaid pob sector

Busnes newydd. Ni allwch ragweld a fydd lansiad yn dod â hanner cant o gofrestriadau neu hanner can mil, felly prynwch raddfa yn hytrach na’i hadeiladu: rhedwch wasanaethau di-gyflwr y tu ôl i gydbwysydd llwyth a reolir a gadewch i’r platfform awtoraddio yn ôl cyfradd cais. Gosodwch un gyllideb perfformiad wylaidd a dewiswch storfeydd data a reolir fel nad yw pigyn yn gorfodi ail-bensaernïo am 2 y bore. Hepgorwch adfer trychineb aml-ranbarth a rhaglenni anhrefn am y tro; cadwch gefnogion wedi’u profi a threuliwch eich sylw peirianneg prin ar y cynnyrch, nid ar ddiswyddogaeth nad yw eich traffig eto’n ei chyfiawnhau.

Busnes bach. Heb arbenigwr dibynadwyedd a chyllideb dynn, mae’r dewis prynu-yn-erbyn-adeiladu’n gogwyddo’n galed tuag at brynu: mae platfform a reolir neu bentwr di-weinydd yn gwneud graddio a methu drosodd yn waith y darparwr, ac fel arfer mae un rhanbarth sy’n cael ei redeg yn dda’n ddigon. Fframiwch wydnwch fel nifer bach o addewidion pendant y gallwch eu cadw, fel wrth-gefn nosweithiol rydych wedi adfer ohono unwaith mewn gwirionedd a ffenestr adfer realistig rydych wedi’i chyfathrebu i gwsmeriaid. Osgowch dalu am weithredol-weithredol neu brofi llwyth parhaus nad oes gennych na’r traffig na’r staff i’w gyfiawnhau.

Menter. Y broblem yw cysondeb ar draws llawer o dimau: safonwch gyllidebau perfformiad wedi’u gorfodi mewn CI, llyfrgell a rennir o batrymau gwydnwch (terfynau amser, torwyr cylched, penrhannau), a haen ddiswyddogaeth wedi’i dogfennu ar gyfer pob system wedi’i chysylltu â’i hollbwysigrwydd. Cadwch aml-ranbarth gweithredol-gweithredol ar gyfer gwasanaethau haen-un, rhedwch raglen peirianneg anhrefn gyda chynwal diogelwch a diwrnodau gêm cynhyrchu, a thrinwch gynllunio capasiti ar gyfer cynyddiadau hysbys fel disgyblaeth wedi’i hamserlennu yn hytrach nag ôl-ystyriaeth. Llywodraethwch RTO a RPO yn ganolog fel bod gan bob system hollbwysig amcanion perchnogedig, wedi’u profi y gall archwiliwr eu gwirio.

Llywodraeth. Mae llwyth yn aml wedi’i amseru’n gyfreithiol ac mae rhwymedigaethau argaeledd yn statudol, felly ni all cynllunio capasiti ddibynnu ar awtoraddio’n ymateb yn y foment: rhagolygwch gynnydd y dyddiad cau, darparwch ymlaen llaw, a phrofwch lwyth ymhell uwchlaw’r rhagolwg. Dylai caffael nodi RTO, RPO, ac amserlen o fethu-drosodd wedi’u hymarfer fel gofynion contractiol, nid addewidion gwerthwr, a dylai osgoi cloi un rhanbarth ar gyfer gwasanaethau hollbwysig. Penderfynwch ymlaen llaw pa lwybr sy’n hanfodol yn gyfreithiol (cyflwyno ffurflen, hawlio budd-dal) fel bod dirywiad yn taflu dangosfyrddau statws a chwiliadau’n gyntaf, a byddwch yn dryloyw gyda’r cyhoedd am doriadau gwasanaeth ac adferiad yn hytrach na gobeithio na fydd neb yn sylwi.

Enghreifftiau

Busnes newydd. Ni all busnes newydd bach sy’n lansio ar Product Hunt ragweld a fydd yn cael hanner cant o gofrestriadau neu hanner can mil, felly mae’n cadw ei wasanaethau’n ddi-gyflwr y tu ôl i gydbwysydd llwyth a reolir ac yn gadael i’r platfform awtoraddio yn ôl cyfradd cais. Mae’n gosod un gyllideb perfformiad wylaidd (mae tudalennau’n ymateb o dan 300ms ar y 95fed canradd) ac yn dewis cronfa ddata a reolir fel nad yw pigyn traffig yn gorfodi ail-bensaernïo am 2 y bore. Pan fydd cynnydd diwrnod lansio’n cyrraedd, mae’r safle’n arafu ychydig yn hytrach na syrthio, ac mae’r tîm yn treulio’r diwrnod yn siarad â defnyddwyr newydd yn lle brwydro yn erbyn toriad gwasanaeth.

Menter. Mae cwmni cyfryngau ffrydio’n rhedeg gwasanaethau di-gyflwr ar draws rhanbarthau lluosog y tu ôl i gydbwyso llwyth byd-eang, gan awtoraddio yn ôl cyfradd cais i ddilyn ton amser brig ddyddiol. Mae cyllidebau perfformiad yn borth i bob rhyddhad ar oedi cychwyn p99. Dan fethiant rhanbarthol, mae traffig yn symud yn awtomatig i ranbarthau iach, ac mae nodweddion nad ydynt yn hanfodol (gwaith celf personoledig, adnewyddu argymhellion) yn dirywio gyntaf i ddiogelu chwarae. Mae’r cwmni’n rhedeg arbrofion anhrefn parhaus mewn cynhyrchu, gan derfynu enghreifftiau a chwistrellu oedi’n rheolaidd, fel bod methiannau go iawn yn anwahaniaethadwy o ymarferion ac na fyddant yn achosi toriad gwasanaeth gweladwy i gwsmeriaid.

Llywodraeth. Mae asiantaeth dreth yn gwybod bod ei system ffeilio’n wynebu cynnydd dyddiad cau enfawr, sefydlog yn gyfreithiol bob blwyddyn. Yn hytrach na dibynnu ar awtoraddio i ymateb yn y foment, mae’n rhagolygu llwyth brig o flynyddoedd blaenorol, yn darparu capasiti wythnosau ymlaen llaw, ac yn profi llwyth i 150% o’r rhagolwg. Mae’r bensaernïaeth yn ddi-gyflwr y tu ôl i gydbwyswyr llwyth gydag ail ranbarth wrth-gefn cynnes. Gosodir RTO a RPO gan bolisi (dim mwy na 15 munud o amser segur a cholled data bron yn sero ar gyfer ffurflenni a gyflwynwyd), ac mae methu drosodd yn cael ei ymarfer bob chwarter. Dan lwyth eithafol, mae nodweddion nad ydynt yn hollbwysig (dangosfyrddau statws, chwiliadau hanesyddol) yn cael eu taflu gyntaf fel bod cyflwyno ffurflenni, y llwybr hanfodol yn gyfreithiol, yn aros ar gael.

Achos busnes: cymhellion, ROI, a TCO

Mae graddadwyedd, perfformiad, a gwydnwch yn achosion clasurol lle mae cost methiant yn fawr uwch na chost atal. Ond mae’r atal yn weladwy ar y gyllideb ac nid yw’r methiant ond yn botensial, a dyna pam maen nhw’n cael eu tanariannu’n gronig hyd nes y drychineb gyntaf. Mae cost mabwysiadu’n real: seilwaith diswyddogaethol, capasiti aml-ranbarth, offer profi llwyth ac anhrefn, a’r amser peirianneg i adeiladu diffyg cyflwr a phatrymau gwydnwch. Cost peidio â buddsoddi yw toriad gwasanaeth amlwg yn ystod galw brig: incwm coll fesul munud i fasnach, rhwymedigaethau statudol wedi’u colli ac ymchwiliad cyhoeddus i lywodraeth, cosbau cytundeb lefel gwasanaeth (SLA), a niwed enw da parhaol.

Fframiwch yr achos i arweinyddiaeth gyda ffigurau y mae’r busnes eisoes yn eu deall. Amcangyfrifwch gost un awr o amser segur yn ystod brig (trafodion coll, cosbau, unioni, enw da), yna cymharwch ef â chost flynyddol y ddiswyddogaeth a’r profi sy’n ei atal. I systemau hollbwysig mae’r atal bron bob amser yn ffracsiwn o un digwyddiad mawr. Cysylltwch RTO a RPO ag arian eglur: faint o incwm neu faint o drafodion fesul awr o amser segur, a faint o golled data sy’n oddefadwy’n gyfreithiol neu’n fasnachol. Cyflwynwch berfformiad fel lifer incwm a boddhad, gan fod systemau cyflymach yn trosi’n well ac yn costio llai fesul trafodiad, a chyflwynwch wydnwch fel yswiriant y mae ei bremiwm yn fach o’i gymharu â’r golled a yswirir. Y ddadl gryfaf yw bod yr ansoddau hyn yn rhad i’w dylunio i mewn ac yn ddinistriol i’w hôl-osod ar ôl y toriad gwasanaeth sy’n gorfodi’r mater.

Gwrth-batrymau a pheryglon

Sesiynau gludiog a chyflwr o fewn-enghraifft. Storio cyflwr sesiwn ar y gweinydd, gan atal graddio llorweddol rhydd a disodli enghreifftiau’n ddiogel.
Awtoraddio fel cynllunio capasiti. Tybio y bydd awtoraddio’n amsugno cynnydd newid gris hysbys y mae’n rhy araf i ymateb iddo.
Rhedeg yn boeth heb le wrth gefn. Gweithredu ar ddefnydd bron-100%, gan adael dim i amsugno pigau na methiannau.
Optimeiddio heb broffilio. Tiwnio cod nad yw’n dagfa tra bo’r un gwirioneddol yn cael ei adael heb ei gyffwrdd.
Anwybyddu’r gynffon. Adrodd oedi cyfartalog tra bo defnyddwyr p99 yn dioddef; mae cyfartaleddau’n cuddio’r boen ar raddfa fawr.
Adfer trychineb heb ei brofi. Cynllun adfer trychineb a chefnogion nas ymarferwyd erioed ac a fydd yn methu pan fydd eu hangen.
Pwyntiau methiant sengl. Un cydbwysydd llwyth, un prif gronfa ddata, un rhanbarth: cydran ddiddiswyddogaeth sy’n tynnu popeth i lawr.
Peirianneg anhrefn heb gynwal diogelwch. Chwistrellu methiannau heb reolaeth radiws ffrwydrad na switsh atal, gan achosi’r union doriad gwasanaeth roeddech chi’n bwriadu ei atal.

Model aeddfedrwydd

Lefel 1: Cychwyn. Ad hoc ac adweithiol. Un enghraifft neu wedi’i raddio’n fertigol, gyda chyflwr wedi’i gadw ar y gweinydd. Dim profi llwyth, dim cyllidebau perfformiad, a dim adfer trychineb y tu hwnt i gefnogion achlysurol nad oes neb wedi adfer ohonynt. Mae unrhyw fethiant cydran yn achosi toriad gwasanaeth llawn, a chaiff problemau graddfa eu darganfod mewn cynhyrchu.
Lefel 2: Datblygu. Mae arferion sylfaenol yn ymddangos ond yn amrywio o dîm i dîm. Mae rhai gwasanaethau wedi’u graddio’n llorweddol ac yn ddi-gyflwr y tu ôl i gydbwysydd llwyth, gydag awtoraddio sylfaenol ar ychydig ohonynt. Mae profi llwyth yn digwydd cyn lansiadau mawr ond nid yn rheolaidd, ac mae cefnogion yn bodoli tra bo adfer trychineb wedi’i ddogfennu ond anaml yn cael ei ymarfer. Yr hyn y mae un tîm yn ei wneud yn dda, nid yw tîm arall wedi dechrau arno.
Lefel 3: Safoni. Mae arferion wedi’u dogfennu a’u gorfodi ledled y sefydliad. Cynllunnir capasiti ar gyfer cynyddiadau hysbys gyda lle wrth gefn, gorfodir cyllidebau perfformiad mewn CI fel bod atchweliadau’n methu’r adeiladwaith, ac mae patrymau gwydnwch (terfynau amser, ailgeisiadau cyfyngedig, torwyr cylched, penrhannau) ynghyd â dirywiad graslon yn ddiofyn. Diffinnir RTO a RPO fesul system, dyrennir haenau diswyddogaeth yn ôl hollbwysigrwydd, a phrofir methu drosodd adfer trychineb ar amserlen reolaidd ar draws timau.
Lefel 4: Rheoli. Mesurir a rheolir yr ansoddau yn erbyn llinellau sylfaen. Mae timau’n tracio oedi p95 a p99, cyllidebau gwallau, a defnydd a lle wrth gefn yn erbyn rhagolwg, ac yn rhybuddio ar doriadau yn hytrach na’u darganfod wrth lansio. Cymherir amseroedd methu drosodd wedi’u profi â’r RTO a’r RPO targed, dilysir trothwyon dirywiad a thaflu llwyth â metrigau, ac fe yrrir penderfyniadau mynd neu beidio â mynd ar ryddhadau a chapasiti gan ddata. Lle mae ffigurau’n crwydro o’r llinell sylfaen, mae’r bwlch yn weladwy ac yn cael ei berchnogi yn hytrach na’i guddio y tu ôl i gyfartaleddau.
Lefel 5: Cydgordio. Mae graddadwyedd, perfformiad, a gwydnwch yn cael eu gwella’n barhaus a’u hintegreiddio ar draws y sefydliad. Defnyddir aml-ranbarth gweithredol-gweithredol lle bynnag y mae hollbwysigrwydd yn ei gyfiawnhau, mae peirianneg anhrefn yn rhedeg yn barhaus gan gynnwys diwrnodau gêm cynhyrchu, ac mae rhagolygu capasiti’n bwydo’n uniongyrchol i mewn i gynllunio a chaffael. Dilysir gwydnwch yn barhaus, cyflawnir a phrofir amcanion adfer yn gyson, ac mae’r bensaernïaeth yn addasu wrth i batrymau llwyth a’r darlun risg newid, wedi’i gysylltu â chynllunio parhad busnes a risg.

Syniadau i’w trafod

Pa rai o’ch gwasanaethau sy’n dal cyflwr ar yr enghraifft o hyd, a beth sy’n eich atal rhag eu gwneud yn ddi-gyflwr?
Ar gyfer eich system fwyaf hollbwysig, beth yw’r RTO a’r RPO, pwy a’u gosododd, a phryd wnaethoch chi brofi ddiwethaf y gallwch eu bodloni?
A yw awtoraddio’n wirioneddol eich diogelu yn erbyn eich cynnydd hysbys mwyaf, neu a ydych chi’n dibynnu arno i wneud rhywbeth na all ei wneud?
Ble mae eich pwynt methiant sengl sy’n weddill, a beth yw’r cynllun i’w ddileu?
A ydych chi’n mesur ac yn cyllidebu oedi p99, neu’n cuddio y tu ôl i gyfartaleddau?
A ydych chi erioed wedi methu cydran yn fwriadol mewn cynhyrchu? Os na, sut ydych chi’n gwybod bod eich gwydnwch yn gweithio?

Casgliadau allweddol

Gwahaniaethwch rhwng perfformiad, graddadwyedd, a gwydnwch; mae angen y tri ar system fawr, wedi’u dylunio i mewn o’r cychwyn.
Graddio llorweddol a gwasanaethau di-gyflwr yw sylfaen graddfa, argaeledd, a defnyddio diogel.
Cyfunwch awtoraddio â chynllunio capasiti go iawn a lle wrth gefn ar gyfer cynyddiadau rhagweladwy, hollbwysig i fusnes.
Gyrrwch berfformiad â phroffilio a phrofi llwyth yn erbyn cyllidebau eglur, gan ganolbwyntio ar y llwybr critigol a’r gynffon.
Adeiladwch wydnwch â therfynau amser, torwyr cylched, penrhannau, dirywiad graslon, a diswyddogaeth, yna dilyswch ef â pheirianneg anhrefn.
Gosodwch RTO a RPO fel penderfyniadau busnes, peiriannwch adfer trychineb i gyfateb i hollbwysigrwydd pob system, a phrofwch fethu drosodd yn rheolaidd.

Cyfeiriadau a darllen pellach

Martin Kleppmann, Designing Data-Intensive Applications
Michael Nygard, Release It!: Design and Deploy Production-Ready Software
Betsy Beyer et al. (Google), Site Reliability Engineering and The Site Reliability Workbook
Casey Rosenthal and Nora Jones, Chaos Engineering
Brendan Gregg, Systems Performance: Enterprise and the Cloud
John Allspaw, The Art of Capacity Planning
Ilya Grigorik, High Performance Browser Networking
Nassim Nicholas Taleb, Antifragile