9.5 Adfer trychineb a pharhad busnes

Trosolwg a chymhelliant

Yn hwyr neu’n hwyrach, bydd rhywbeth na wnaethoch gynllunio ar ei gyfer yn tynnu system i lawr: toriad cwmwl ar draws rhanbarth cyfan, DROP TABLE bys bawd, llifogydd mewn canolfan ddata, ffrwydrad ransomware, neu gyflenwr sy’n diflannu dros nos. Nid yw’r cwestiwn byth ynghylch a fydd amhariad yn cyrraedd, ond pa mor gyflym rydych yn adfer a faint rydych yn ei golli yn y broses. Mae’r bennod hon yn ymwneud â bod yn barod ar gyfer y diwrnod gwael cyn iddo gyrraedd.

Mae dwy ddisgyblaeth yn ateb y parodrwydd hwnnw, ac nid ydynt yr un peth. Mae cynllunio parhad busnes (BCP) yn cadw’r sefydliad cyfan i weithredu drwy amhariad: pobl, swyddfeydd, cyfathrebu, cyflogres, a’r prosesau busnes hanfodol y mae cwsmeriaid yn dibynnu arnynt. Mae adfer trychineb (DR) yn waith technegol, culach, o adfer systemau TG a data ar ôl iddynt fethu. Parhad yw’r nod; adfer yw un o’r moddion. Gallwch adfer pob gweinydd a dal i siomi eich cwsmeriaid os nad oedd neb yn gwybod pwy oedd â hawl i ddatgan trychineb neu sut i’w cyrraedd. Mae’r bennod hon yn trin DR fel arfer peirianneg a BCP fel y fframwaith busnes y mae’n ei wasanaethu.

I dimau mawr, mae’r stanciau’n graddio gyda chi. Mae gan fenter rwymedigaethau adfer rheoleiddiol, olion traed aml-ranbarth, a risg crynodiad mewn llond llaw o gyflenwyr. Mae gan lywodraeth ddyletswydd gyfreithiol i gynnal swyddogaethau hanfodol i ddinasyddion, wedi’i chodeiddio fel parhad gweithrediadau. Mae’r ddau’n gweithredu dan graffu lle mae cynllun heb ei brofi’n rhwymedigaeth y byddwch yn ei darganfod ar yr eiliad waethaf posibl. Adfer yw lle mae dibynadwyedd (pennod 9.1) ac ymateb i ddigwyddiadau (pennod 9.3) yn cwrdd â’r cwestiwn anoddach o oroesi’r methiannau na allwch eu dylunio i ffwrdd.

Egwyddorion allweddol

Mae parhad yn ehangach nag adfer. Nid yr un peth yw adfer gweinyddion â chadw’r busnes i redeg.
Mae dau rif yn gyrru popeth. Amcan amser adfer (RTO) ac amcan pwynt adfer (RPO), wedi’u gosod o effaith fusnes, sy’n meintioli pob penderfyniad.
Nid yw copi wrth gefn heb ei brofi yn gopi wrth gefn. Mae adferiad na wnaethoch erioed ei gyflawni yn obaith, nid yn allu.
Cymerwch yn ganiataol mai targed yw’r copi wrth gefn. Mae ransomware yn hela eich copïau wrth gefn yn gyntaf, felly cadwch gopïau’n anghyfnewidiol ac all-lein.
Ailadeiladwch o god, nid o gof. Os na allwch ailgreu seilwaith o ffynhonnell, ni allwch ei adfer yn ddibynadwy.
Mapiwch yr hyn rydych yn dibynnu arno. Rydych ond yn adfer mor gyflym â’ch dibyniaeth i fyny’r afon arafaf.
Mesurwch adferiad fel unrhyw system arall. RTO a RPO gwirioneddol o ymarferion go iawn, nid y rhifau a ysgrifennwyd ar sleid.

Argymhellion

Gosod RTO a RPO o ddadansoddiad effaith fusnes

Mae pob penderfyniad adfer yn tarddu o ddau rif, felly cywirwch nhw’n gyntaf. Yr amcan amser adfer (RTO) yw pa mor hir y gall system fod i lawr cyn bod y niwed yn annerbyniol. Yr amcan pwynt adfer (RPO) yw faint o ddata y gallwch fforddio ei golli, wedi’i fesur fel oedran y copi da diwethaf y gallwch adfer iddo. Efallai y bydd cyfrif taliadau yn mynnu RTO o funudau a RPO yn agos at sero; efallai y bydd dangosfwrdd dadansoddeg mewnol yn goddef diwrnod o’r ddau. Ni allwch osod y rhain mewn peirianneg yn unig. Deilliwch nhw o ddadansoddiad effaith fusnes (BIA) sy’n rhestru prosesau busnes yn ôl cost eu hamhariad ac yn olrhain pob un yn ôl i’r systemau a’r data sydd eu hangen arno. Mae gan amcanion tynnach gost uwch, felly’r BIA yw’r hyn sy’n eich atal rhag gor-amddiffyn gwasanaeth dibwys ac tan-amddiffyn un hanfodol.

Gwneud copïau wrth gefn yn iawn: rheol 3-2-1, anghyfnewidedd, a phrofi

Y copïau wrth gefn yw’r llawr o dan bob strategaeth adfer, ac mae’r rhan fwyaf o sefydliadau’n eu gwneud yn waeth nag y maent yn ei feddwl. Dilynwch y ddisgyblaeth copi wrth gefn a elwir yn rheol 3-2-1: cadwch o leiaf dri chopi o’ch data, ar ddau gyfrwng neu system wahanol, gydag un copi oddi ar y safle. Mae bygythiadau modern yn ychwanegu dau ofyniad arall. Cadwch o leiaf un copi’n anghyfnewidiol (ysgrifennu-unwaith, na ellir ei ddileu am gyfnod cadw) ac yn ddelfrydol yn all-lein neu â bwlch aer, oherwydd bod ransomware bellach yn amgryptio neu’n dileu copïau wrth gefn hygyrch yn fwriadol cyn iddo gyhoeddi ei hun. Yn anad dim, profwch adferiadau ar amserlen. Nid yw copi wrth gefn heb ei brofi yn gopi wrth gefn, mae’n dybiaeth heb ei phrofi, ac mae’r methiannau a ddarganfyddwch mewn ymarfer (archifau llwgr, allweddi amgryptio coll, copïau wrth gefn o’r cyfrol anghywir) yn union y rhai a fyddai wedi’ch gorffen mewn digwyddiad go iawn.

Dewis strategaeth DR ar hyd y sbectrwm cost-yn-erbyn-cyflymder

Mae strategaethau DR yn cyfnewid arian am gyflymder adfer, a dylech ddewis fesul system yn seiliedig ar ei RTO a’i RPO yn hytrach na phrynu un haen ar gyfer popeth. Mae pedwar patrwm yn angori’r sbectrwm. Mae copi wrth gefn ac adfer rataf ac araf: rydych yn ailadeiladu o gopïau wrth gefn pan fo trychineb yn taro, gydag RTO o oriau i ddyddiau. Mae golau peilot yn cadw craidd minimal (cronfeydd data’n dyblygu, ffurfweddiad craidd yn ei le) yn gynnes ond wedi’i raddio i lawr, yn barod i ehangu. Mae wrth gefn cynnes yn rhedeg copi bach, sy’n rhedeg yn barhaus, o’r pentwr cyfan y byddwch yn ei raddio i fyny wrth failover, gan dorri RTO i funudau. Mae aml-safle gweithredol-gweithredol yn rhedeg capasiti llawn mewn dau leoliad neu fwy sy’n gwasanaethu traffig byw, gan roi RTO agos at sero am y gost a’r cymhlethdod uchaf. Cyfatebwch yr haen â’r rhif y cytunodd y busnes arno, a pheidiwch â thalu prisiau gweithredol-gweithredol am system sy’n goddef golau peilot.

Dyblygu data gyda’r cyfaddawd cysondeb mewn cof

Mae cyflymder adfer yn dibynnu ar pa mor gyfredol yw eich data wrth gefn, ac yma rydych yn etifeddu problemau anodd systemau dosbarthedig (pennod 3.3). Mae dyblygu cydamserol yn cadarnhau pob ysgrifeniad mewn ail leoliad cyn ei gydnabod, gan roi RPO agos at sero am gost oedi ysgrifennu ychwanegol a therfyn caled ar bellter. Mae dyblygu anghydamserol yn cydnabod yn lleol ac yn anfon newidiadau wedyn, felly mae’n gyflym ac yn hyblyg yn ddaearyddol ond yn gadael ffenestr oedi dyblygu y byddwch yn ei cholli wrth failover. Nid oes dewis rhad ac am ddim: mae cysondeb cryfach yn costio oedi, mae cysondeb gwannach yn costio data. Penderfynwch fesul storfa ddata o’i RPO, a gwybyddwch eich oedi dyblygu nodweddiadol, oherwydd dyna’ch RPO go iawn ar ddiwrnod gwael, nid y rhif yn y ddogfen ddylunio.

Ailadeiladu o god gyda seilwaith fel cod

Ni allwch adfer amgylchedd yn ddibynadwy os gwnaethoch ei ddarparu â llaw, oherwydd nid oes neb yn cofio pob clic. Diffiniwch eich amgylcheddau fel seilwaith fel cod (pennod 8.2) fel y gellir ailgreu pentwr cyfan o ffynhonnell reoledig-fersiwn mewn cyflwr da-hysbys. Mae hyn yn troi adfer o brosiect archaeoleg i redeg piblinell y gellir ei ailadrodd, yn cadw eich rhanbarth wrth gefn yn onest (mae’n gwyro llai pan fo’r ddau wedi’u hadeiladu o’r un cod), ac yn rhoi ffordd lân i chi godi seilwaith adfer mewn cyfrif neu ranbarth newydd ar ôl cyfaddawdiad. Storiwch y cod, cyfeiriadau cyfrinachau, a llyfrau rhedeg yn rhywle sy’n goroesi colli eich prif amgylchedd.

Mapio dibyniaethau cyn bod eu hangen arnoch

Mae systemau’n methu mewn gweoedd, nid ar wahân, ac mae adfer yn stopio ar y ddibyniaeth y gwnaethoch anghofio amdani. Mapiwch beth sydd ei angen ar bob system hanfodol i weithredu: gwasanaethau i fyny’r afon, DNS, hunaniaeth a dilysu, awdurdodau tystysgrif, ciwiau negeseuon, ac APIau a darparwyr SaaS trydydd parti. Nodwch y drefn adfer, oherwydd mae dod â chymhwysiad i fyny cyn ei gronfa ddata neu ei ddarparwr hunaniaeth yn syml yn cynhyrchu ail doriad. Rhowch sylw arbennig i gyflenwyr allanol, gan fod eich adfer wedi’i gapio gan eu heiddo hwy ac efallai nad oes gennych welededd i mewn iddo. Mae’r mapio hwn yn cysylltu’n uniongyrchol â chydnerthedd a dirywiad graslon (pennod 3.5): po leiaf o ddibyniaethau caled sydd gan system, y cyflymaf y daw’n ôl.

Profi adfer fel arfer, nid fel digwyddiad

Mae cynllun DR nad ydych wedi’i ymarfer yn ffuglen. Adeiladwch ysgol o brofion. Mae ymarfer bwrdd yn cerdded y tîm drwy senario ar bapur i ddod o hyd i fylchau mewn rolau, penderfyniadau, a chyfathrebu. Mae diwrnod gêm yn chwistrellu methiant go iawn, rheoledig i amgylchedd sy’n debyg i fyw. Mae ymarfer failover llawn yn wirioneddol yn troi drosodd i’r safle adfer ac yn rhedeg arno. Rhedwch y rhain ar gadence, cylchdrowch y senarios (gan gynnwys colli person allweddol neu gyflenwr), a mesurwch y canlyniad: dalwch y RTO a’r RPO gwirioneddol a gyflawnoch a’u cymharu â’r targed. Y bwlch rhwng adferiad mesuredig ac adferiad a addawyd yw’r metrig dibynadwyedd mwyaf gonest sydd gennych, ac mae ei gau’n bwynt cyfan yr ymarfer.

Cynllunio adfer seiber fel ei senario ei hun

Mae ransomware ac ymosodiadau seiber dinistriol yn torri tybiaethau DR arferol, felly triniwch nhw ar wahân. Mewn trychineb naturiol mae eich data’n gyfan yn rhywle arall; mewn digwyddiad ransomware mae eich data a’ch copïau wrth gefn yn aml yn arf, ac efallai bod eich amgylchedd adfer ei hun wedi’i gyfaddawdu. Cynlluniwch adferiad ystafell-lân: amgylchedd ynysig, dibynadwy lle rydych yn adfer o gopïau anghyfnewidiol, yn sganio am y treiddiad, ac yn ailadeiladu hunaniaeth a chredentialau cyn ailgysylltu unrhyw beth. Gwybyddwch pa gopi wrth gefn yw eich pwynt glân-hysbys diwethaf, a disgwyliwch fod dod o hyd iddo’n cymryd amser fforensig na chafodd ei gyllido gan eich RTO arferol erioed. Dyma lle mae copïau anghyfnewidiol, all-lein yn ennill eu cost, ac mae’n cysylltu’n dynn â rheoli digwyddiadau (pennod 9.3) a rhwymedigaethau cydymffurfiaeth a llywodraethu ar gyfer trin toriadau (pennod 4.6).

Cyfaddawdau: manteision ac anfanteision

Strategaeth DR	Manteision	Anfanteision
Copi wrth gefn ac adfer	Rataf; syml; cost barhaus isel	RTO araf (oriau i ddyddiau); RPO mwy
Golau peilot	Cost isel; data craidd yn gynnes ac yn barod	Graddio i fyny â llaw; mae adfer yn dal i gymryd amser go iawn
Wrth gefn cynnes	RTO cyflym (munudau); pentwr llawn wedi’i brofi	Cost barhaus amgylchedd eilaidd sy’n rhedeg
Aml-safle gweithredol-gweithredol	RTO agos at sero; dim methiant un-safle	Cost a chymhlethdod uchaf; mae cysondeb yn anodd
Dyblygu cydamserol	RPO agos at sero	Oedi ysgrifennu; wedi’i gyfyngu gan bellter; cyplu tynnach
Dyblygu anghydamserol	Cyflym, hyblyg, rhydd yn ddaearyddol	Ffenestr colli data’n hafal i’r oedi dyblygu

Y tyndra canolog yw bod cyflymder adfer a ffresni data ill dau’n costio arian a chymhlethdod, ac nid yw’r un o’r ddau am ddim ar unrhyw haen. Datryswch hyn fesul system yn hytrach na fesul sefydliad: gadewch i’r dadansoddiad effaith fusnes neilltuo RTO a RPO i bob system hanfodol, yna prynwch yn union y strategaeth sy’n ei bodloni. Mae gwario arian gweithredol-gweithredol ar declyn adrodd yn newynu’r cyfrif a oedd ei angen arno, ac mae’r gwrthwyneb yn esgeulustod. Y ddisgyblaeth yw cyfateb y gwariant â’r rhif sy’n eiddo i’r busnes, ac ailymweld â’r cyfatebiaeth honno wrth i bwysigrwydd systemau newid.

Cwestiynau i’w trafod gyda’ch tîm

Beth yw’r RTO a’r RPO ar gyfer pob un o’ch systemau hanfodol, a phwy yn y busnes a gymeradwyodd nhw? Os dyfeisiodd peirianneg y rhifau hyn ar ei ben ei hun, dyfaliadau ydynt, ac mae dyfaliadau naill ai’n cael eu cyllido’n rhy hael neu ddim o gwbl. Dylai’r amcanion amser adfer a phwynt adfer ddisgyn allan o ddadansoddiad effaith fusnes sy’n rhestru prosesau yn ôl cost eu hamhariad, fel bod y cyfrif yn cael munudau a’r wici fewnol yn cael diwrnod. Dewch â’ch haeniad presennol a gofynnwch a fyddai’r person sy’n atebol am bob proses fusnes wirioneddol yn derbyn y colli data a’r amser segur rydych wedi’u cynllunio ar eu cyfer. Mewn sefydliad mawr, dyma’r sgwrs sy’n atal y camgymeriad drud o amddiffyn popeth yn gyfartal, sy’n amddiffyn dim yn dda. Os na all neb y tu allan i beirianneg enwi’r rhifau, nid oes gennych amcanion eto, mae gennych obeithion.
Pryd wnaethoch chi gyflawni adferiad go iawn ddiwethaf, a wnaethoch chi fesur y RTO a’r RPO gwirioneddol a gyflawnoch? Mae copi wrth gefn na wnaethoch erioed ei adfer yn dybiaeth heb ei phrofi, ac mae’r moddau methiant sy’n eich lladd (archifau llwgr, allweddi amgryptio coll, ciplun o’r cyfrol anghywir, dibyniaeth na fydd yn codi) yn ymddangos dim ond pan geisiwch. Dewch â dyddiad a chanlyniad eich ymarfer failover llawn diwethaf, nid eich ymarfer bwrdd diwethaf, a’r bwlch rhwng yr adferiad a gyflawnoch a’r adferiad a addawoch. I dîm mawr, nid yw un adferiad llwyddiannus o un system yn profi’r lleill, felly gofynnwch pa gyfran o systemau hanfodol sydd wedi’u hadfer o ben i ben yn y flwyddyn ddiwethaf. Y bwlch mesuredig yw eich rhif dibynadwyedd mwyaf gonest, ac os na allwch ei nodi, mae eich cynllun yn ffuglen hyd nes ei brofi fel arall.
Pe bai ransomware’n amgryptio eich cynhyrchu ac yn cyrraedd eich copïau wrth gefn heno, beth yw eich copi glân-hysbys diwethaf a ble byddech chi’n ailadeiladu? Mae adfer trychineb arferol yn tybio bod eich data’n ddiogel yn rhywle arall, ac mae ymosodiad seiber dinistriol yn torri’n union y dybiaeth honno drwy wneud eich data a’ch copïau wrth gefn yn arf. Gofynnwch a yw o leiaf un copi wrth gefn yn anghyfnewidiol ac all-lein, sut y byddech yn nodi’r pwynt adfer glân diwethaf, a ble y byddai amgylchedd ystafell-lân dibynadwy’n dod ohono pan fo cynhyrchu ei hun wedi’i gyfaddawdu. Mae’r senario hwn angen amser fforensig na chafodd ei gyllido gan eich RTO arferol erioed, felly dewch ag amcangyfrif gonest o pa mor hir mae dod o hyd i bwynt glân yn ei gymryd mewn gwirionedd. I dimau menter a llywodraeth mae hyn hefyd yn ddigwyddiad cydymffurfiaeth (pennod 4.6) gyda chloc hysbysu toriad yn rhedeg ochr yn ochr. Os yw’r ateb yn “byddem yn adfer y copi wrth gefn diweddaraf”, nid ydych wedi cynllunio ar gyfer hyn o gwbl.
Pa un o’ch systemau sy’n talu am haen adfer nad yw ei dadansoddiad effaith fusnes yn ei chyfiawnhau, a pha un sydd wedi’i danamddiffyn yn beryglus? Mae cyflymder adfer a ffresni data ill dau’n costio arian ar bob haen, felly mae polisi cyffredinol naill ai’n gwastraffu cyllideb weithredol-gweithredol ar declyn adrodd neu’n newynu’r cyfrif a oedd wir ei angen arno. Mae’r tyniad cystadleuol yn real: mae un haen safonol yn llawer symlach i lawer o dimau ei weithredu, tra bo haeniad fesul system yn cyfateb gwariant â gwerth ond yn galw am gynnal parhaus wrth i bwysigrwydd system newid. Dewch â’r strategaeth DR bresennol ar gyfer pob system hanfodol, y RTO a’r RPO y mae’n eu targedu, cost fisol ei wrth-gefn a’i ddyblygu, a’r dyddiad yr ailymwelwyd â’r haeniad ddiwethaf yn erbyn dadansoddiad effaith newydd. Mewn menter neu leoliad llywodraeth mae haen anghyfatebol yn lluosi ar draws rhanbarthau a bydd archwilio’n gofyn i chi gyfiawnhau’r arian rydych yn ei wario a’r amlygiad rydych yn ei dderbyn, felly mae bil gweithredol-gweithredol heb esboniad a gwasanaeth hanfodol heb ei amddiffyn yr un mor anodd i’w amddiffyn.
Ydych chi wir yn gwybod trefn adfer eich systemau hanfodol, a pha mor bell mae eich adfer yn dibynnu ar gyflenwyr na allwch eu profi? Mae systemau’n methu mewn gweoedd, nid ar wahân, ac mae adfer yn stopio ar y ddibyniaeth na wnaeth neb ei mapio: dewch â chymhwysiad i fyny cyn ei gronfa ddata, ei ddarparwr hunaniaeth, neu DNS ac rydych yn syml yn cynhyrchu ail doriad. Mae mapio dibyniaethau’n ddiflas ac mae’r map yn mynd yn hen, ond y dewis arall yw darganfod y drefn adfer yn fyw yn ystod failover, ac mae risg crynodiad mewn llond llaw o ddarparwyr SaaS yn aros yn anweledig hyd nes eu bod yn methu gyda’i gilydd ac yn capio eich adfer ar eu heiddo hwy. Dewch â map dibyniaeth cyfredol, y dilyniant adfer dogfennedig, a rhestr o gyflenwyr allanol gyda’u hymrwymiadau adfer datganedig ac a wnaethoch erioed ddilysu unrhyw un ohonynt. I sefydliad mawr neu gyhoeddus, mae parhad cyflenwyr a risg crynodiad yn gynyddol yn bryder caffael a rheoleiddiol, felly mae’r rhwymedigaethau adfer hynny’n perthyn yn y contract mewn ffurf y gallwch ei harchwilio yn hytrach nag ym marchnata gwerthwr.
Pe baech yn adfer pob gweinydd heno, a fyddai’r busnes wir yn parhau i redeg, a phwy sydd wedi’i awdurdodi i ddatgan trychineb? Mae adfer trychineb yn adfer TG, ond mae parhad busnes yn cadw’r sefydliad i weithredu: pobl, cyfathrebu, cyflogres, a’r penderfyniadau sy’n dibynnu ar rywun â’r awdurdod i’w gwneud. Gallwch adfer pob system a dal i siomi eich cwsmeriaid os nad oedd neb yn gwybod pwy allai ddatgan trychineb neu sut i gyrraedd staff pan fo’r sianelau arferol hefyd i lawr. Mae peirianneg yn berchen ar adfer, ac eto mae parhad yn rhychwantu cyfleusterau, adnoddau dynol, cyfathrebu, ac olyniaeth arweinyddiaeth, ac mae’r seiliau hynny rhwng adrannau’n union lle mae cynllun yn pydru’n dawel. Dewch â’r awdurdod datgan a’r gadwyn waethygu, y cynllun cyfathrebu wrth gefn, yr olynwyr enwebedig a’r cyfleusterau amgen, a’r dyddiad y gwnaeth ochr y busnes (nid TG yn unig) ymarfer y cynllun ddiwethaf. Mae gan lywodraeth ddyletswydd gyfreithiol parhad gweithrediadau gydag olynwyr enwebedig a swyddogaethau hanfodol, ac mae mentrau’n wynebu rhwymedigaethau parhad rheoleiddiol, felly caiff y ddau eu barnu ar a yw’r busnes yn goroesi’r diwrnod gwael, nid y gweinyddion yn unig.

Golwg sector

Cwmni newydd. Gyda thîm bach a rhedfa fer, ni allwch fforddio ail ranbarth poeth, felly byddwch yn fwriadol am y rhannau rhad sy’n dal i’ch achub. Gosodwch un haen adfer onest, dilynwch reol 3-2-1 gyda chipluniau awtomataidd ac o leiaf un copi anghyfnewidiol na all eich gweinyddwyr eich hun ei ddileu, a chadwch yr amgylchedd cyfan fel seilwaith fel cod fel y gallwch ailadeiladu o ffynhonnell. Hepgorwch y cynllun cywrain a rhedwch, yn hytrach, un adferiad go iawn i amgylchedd sgrap bob chwarter, oherwydd mae un ymarfer wedi’i amseru’n dysgu mwy i chi na ffeil nad oes neb yn ei darllen.

Busnes bach. Heb arbenigwr parhad pwrpasol a chyllideb dynn, triniwch adfer fel rhywbeth rydych yn ei brynu yn hytrach na’i adeiladu. Dibynnwch ar gopi wrth gefn rheoledig, ciplun, a dyblygu traws-ranbarth eich darparwr cwmwl yn hytrach na chodi seilwaith DR pwrpasol, a dewiswch werthwyr y mae eu copïau wrth gefn yn anghyfnewidiol a’u proses adfer y gallwch ei rhedeg eich hun mewn gwirionedd. Fframiwch yr ymarfer cyfan o amgylch dau gwestiwn y gallwch eu hateb heb arbenigwr: faint o ddata y gallwn ei golli, a pha mor hir y gallwn fod i lawr, a phrofwch fod un adferiad yn gweithio cyn i chi ymddiried ynddo.

Menter. Ar raddfa, y broblem yw llywodraethu portffolio ar draws llawer o dimau: dadansoddiad effaith fusnes sy’n neilltuo RTO a RPO i bob gwasanaeth, strategaethau adfer wedi’u haenu o gopi wrth gefn-ac-adfer i fyny at weithredol-gweithredol, a golwg ganolog ar ddibyniaethau i fyny’r afon a chyflenwyr gan gynnwys risg crynodiad. Cyllidwch gostau’r wrth-gefn, y dyblygu, a’r copi anghyfnewidiol yn benodol, rhedwch failovers llawn wedi’u tystio gan reoleiddiwr ar gadence, a mesurwch adferiad gwirioneddol yn erbyn y targed fel metrig dibynadwyedd olrheiniedig. Cynhaliwch adfer seiber fel ei rhaglen ei hun gyda chopïau cladd anghyfnewidiol a llyfr rhedeg ystafell-lân, wedi’i brofi’n annibynnol o’r ymarferion trychineb naturiol.

Llywodraeth. Mae rheolau caffael, tryloywder, ac atebolrwydd cyhoeddus yn siapio pob dewis, ac mae parhad yn aml yn ddyletswydd gyfreithiol yn hytrach na dewis. Adeiladwch raglen parhad gweithrediadau sy’n nodi swyddogaethau hanfodol, yn trefnu eu hadferiad, ac yn enwi olynwyr a chyfleusterau amgen fel na fydd penderfyniadau byth yn stopio o achos diffyg person awdurdodedig, a’i alinio â chanllawiau cydnabyddedig fel NIST SP 800-34 i gefnogi rhwymedigaethau FISMA. Cadwch gopïau wrth gefn â bwlch aer, diffiniwch seilwaith fel cod ar gyfer ailadeiladu mewn rhanbarth amgen, a rhedwch ymarfer llawn blynyddol ynghyd ag ymarferion bwrdd ransomware y byddwch yn adrodd eu canlyniadau mesuredig i gyrff goruchwylio fel tystiolaeth bod gwasanaethau hanfodol yn goroesi.

Enghreifftiau

Cwmni newydd. Ni all cwmni SaaS deuddeg person fforddio ail ranbarth poeth, felly mae’n fwriadol am y rhannau rhad. Mae’n gosod un haen onest: RTO o bedair awr, RPO o bymtheg munud ar gyfer y gronfa ddata cwsmeriaid. Mae’n dilyn rheol 3-2-1 gyda chipluniau awtomataidd, un copi wedi’i ddyblygu i ail ranbarth cwmwl ac un copi anghyfnewidiol gyda ffenestr gadw wedi’i chloi na all ei weinyddwyr ei hun ei dileu. Mae ei amgylchedd cyfan yn seilwaith fel cod (pennod 8.2), felly gall godi pentwr newydd o ffynhonnell. Unwaith y chwarter mae’n rhedeg adferiad go iawn i amgylchedd sgrap ar brynhawn Gwener, yn ei amseru, ac yn ffeilio nodyn byr. Cymerodd yr ymarfer cyntaf naw awr a darganfu gam ymfudo coll; y trwsiad yw’r rheswm pam gymerodd yr un nesaf dair.

Menter. Mae banc rhyngwladol yn gweithredu dan ofynion adfer rheoleiddiol sy’n mynnu parhad wedi’i brofi ar gyfer gwasanaethau hanfodol. Mae’n rhedeg wrth-gefn cynnes mewn ail ranbarth ar gyfer ei blatfform bancio craidd, gyda dyblygu cydamserol o fewn pâr metro ar gyfer RPO agos at sero a dyblygu anghydamserol i ranbarth pell ar gyfer goroesiad trychineb rhanbarthol. Mae dadansoddiad effaith fusnes yn neilltuo RTO a RPO i bob gwasanaeth, ac mae tîm canolog yn mapio dibyniaethau i fyny’r afon gan gynnwys dau ddarparwr SaaS wedi’u fflagio fel risg crynodiad. Ddwywaith y flwyddyn mae’n cynnal failover llawn wedi’i dystio gan reoleiddiwr, yn mesur y gwirioneddol yn erbyn y targed, ac yn bwydo’r bylchau i mewn i’r cylch nesaf. Mae rhaglen adfer seiber ar wahân yn cynnal copïau cladd anghyfnewidiol a llyfr rhedeg ystafell-lân, wedi’i brofi’n annibynnol o’r ymarferion trychineb naturiol.

Llywodraeth. Mae asiantaeth genedlaethol sy’n darparu budd-daliadau’n cynnal rhaglen parhad gweithrediadau (COOP) wedi’i hadeiladu i gynnal ei swyddogaethau hanfodol drwy unrhyw amhariad. Gan ddilyn arfer parhad gweithrediadau a chanllaw cynllunio wrth gefn NIST SP 800-34 sy’n cefnogi ei rhwymedigaethau FISMA, mae’n nodi swyddogaethau hanfodol, yn trefnu eu hadferiad, ac yn enwi olynwyr a chyfleusterau amgen fel na fydd penderfyniadau byth yn stopio o ddiffyg person awdurdodedig. Mae gan systemau sy’n wynebu dinasyddion RTO a RPO dogfennedig, mae copïau wrth gefn yn dilyn rheol 3-2-1 gyda chopïau â bwlch aer, ac mae seilwaith wedi’i ddiffinio fel cod ar gyfer ailadeiladu mewn rhanbarth amgen. Mae ymarfer llawn blynyddol, ynghyd ag ymarferion bwrdd ar gyfer senario ransomware, yn profi’r cynllun yn erbyn adferiad mesuredig, ac adroddir y canlyniadau i gyrff goruchwylio fel tystiolaeth bod gwasanaethau hanfodol yn goroesi’r diwrnod gwael.

Achos busnes: cymhellion, ROI, a TCO

Daw’r elw ar DR a pharhad o drychineb a osgowyd, sy’n wirioneddol anodd ei werthfawrogi hyd nes bod ei angen arnoch ac yn boenus o gonglfeiniol pan fydd. Fframiwch hyn fel rheoli risg: cost ddisgwyliedig amhariad yw ei debygolrwydd wedi’i luosi â’i effaith, ac mae effaith i sefydliad mawr yn rhedeg o refeniw coll fesul awr o amser segur drwy gosbau rheoleiddiol, costau hysbysu toriad, a’r niwed i enw da sy’n goroesi’r toriad ei hun. Mae un digwyddiad ransomware na ellid ei adfer wedi gorffen cwmnïau ac, yn y sector cyhoeddus, wedi tynnu gwasanaethau dinesydd hanfodol all-lein am wythnosau. Yn erbyn hynny, mae cost gallu adfer wedi’i brofi’n gymedrol ac yn hysbys.

Mae’r gost gyfanswm perchnogaeth (TCO) yn real ac yn barhaus: seilwaith wrth-gefn, lled band dyblygu, storio wrth-gefn (wedi’i luosi â chopïau anghyfnewidiol ac all-lein), a’r amser peirianneg i adeiladu awtomeiddio a rhedeg ymarferion. Dyma’n union pam rydych yn haenu yn ôl RTO a RPO yn hytrach na phrynu gweithredol-gweithredol ym mhobman, fel bod gwariant yn olrhain gwerth pob system yn hytrach na pholisi cyffredinol. I wneud yr achos i arweinyddiaeth, cyfieithwch y cynllun i’w hiaith: dyma’r amser segur a’r colli data y gallwn eu goroesi heddiw, dyma’r bwlch i’n targedau, dyma faint mae ei gau’n ei gostio, a dyma’r amlygiad os na wnawn hynny. Y gwrthrych mwyaf perswadiol yw ymarfer mesuredig, oherwydd mae adferiad rydych wedi’i ddangos yn rhif y gall arweinyddiaeth ymddiried ynddo, ac mae cynllun heb ei brofi’n rhwymedigaeth wedi’i wisgo fel ased.

Gwrth-batrymau a pheryglon

Copïau wrth gefn heb eu profi. Mae adferiad na wnaethoch erioed ei gyflawni yn obaith; yn yr ymarfer y byddwch yn dod o hyd i’r llygredd, yr allwedd goll, a’r cyfrol anghywir.
Copïau wrth gefn hygyrch o gynhyrchu. Os gall ransomware amgryptio neu ddileu eich copïau wrth gefn, mae gennych un copi, nid tri. Cadwch un yn anghyfnewidiol ac all-lein.
Un RTO ac un RPO ar gyfer popeth. Mae haenau cyffredinol yn gor-amddiffyn y dibwys ac yn tan-amddiffyn yr hanfodol; haenwch o ddadansoddiad effaith fusnes.
Drysu DR â BCP. Mae adfer pob gweinydd tra nad oes neb yn gwybod pwy sy’n datgan trychineb neu sut i gyrraedd staff yn system wedi’i hadfer a busnes wedi methu.
Amgylcheddau adfer wedi’u hadeiladu â llaw. Mae seilwaith na allwch ei ailadeiladu o god yn gwyro, a darganfyddir y gwyro yng nghanol failover.
Dibyniaethau wedi’u hanwybyddu. Mae adfer ap cyn ei gronfa ddata, ei ddarparwr hunaniaeth, neu DNS yn syml yn cynhyrchu ail doriad.
Pydredd cynllun. Mae ffeil a ysgrifennwyd unwaith ac na chafodd ei hymarfer erioed yn disgrifio system nad yw’n bodoli mwyach.
Mannau dall cyflenwyr. Mae eich adfer wedi’i gapio gan adferiad eich cyflenwyr hanfodol, ac mae risg crynodiad yn anweledig hyd nes eu bod yn methu gyda’i gilydd.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae adfer yn ad hoc ac yn adweithiol. Efallai bod copïau wrth gefn yn rhedeg ond mae adferiadau heb eu profi. Nid oes RTO na RPO cytûn, dim dadansoddiad effaith fusnes, a chaiff adfer ei fyrfyfyrio yn ystod y digwyddiad. Byddai colled ddata ddifrifol neu ddigwyddiad ransomware fwy na thebyg yn amhosibl i’w hadfer.
Lefel 2, Datblygu: Mae arferion sylfaenol yn bodoli ond maent yn anghyson ar draws timau. Mae gan rai systemau hanfodol gopïau wrth gefn yn dilyn rheol 3-2-1 ac RTO a RPO dogfennedig ar gyfer y gwasanaethau pwysicaf, ac mae cynllun DR sylfaenol yn bodoli gydag adferiadau’n cael eu profi’n achlysurol. Mae sylw’n rhannol, nid yw dibyniaethau wedi’u mapio, mae ymarferion yn ad hoc, ac nid yw disgyblaeth un tîm yn awgrymu un y nesaf.
Lefel 3, Safoni: Mae arfer adfer wedi’i ddogfennu a’i orfodi ar draws y sefydliad. Mae dadansoddiad effaith fusnes yn gyrru RTO a RPO wedi’u haenu ar draws systemau, mae strategaethau adfer yn cyfateb i’r haenau hynny, mae amgylcheddau’n seilwaith fel cod, mae dibyniaethau a threfn adfer wedi’u mapio, ac mae ymarferion wedi’u hamserlennu (bwrdd, diwrnod gêm, a failover) yn rhedeg i gadence diffiniedig. Mae cynllun adfer seiber gyda chopïau anghyfnewidiol, all-lein wedi’i ddogfennu a’i gymhwyso’n gyson yn hytrach na’i adael i dimau unigol.
Lefel 4, Rheoli: Caiff adfer ei fesur a’i reoli yn erbyn llinellau sylfaen. Mae pob ymarfer yn dal y RTO a’r RPO gwirioneddol a gyflawnwyd ac yn olrhain y bwlch i’r targed, ac adroddir metrigau fel cyfradd llwyddiant adfer, y gyfran o systemau hanfodol wedi’u hadfer o ben i ben yn y flwyddyn ddiwethaf, sylw a anghyfnewidedd copi wrth gefn, ac oedi dyblygu monitro fel yr RPO go iawn ar ddangosfyrddau. Mae gwyriadau’n sbarduno gweithredu, mae haeniad yn cael ei ail-ddeillio o ddata am sut mae systemau’n cael eu defnyddio mewn gwirionedd, ac mae penderfyniadau mynd neu beidio â mynd yn seiliedig ar dystiolaeth yn hytrach na’r rhifau a ysgrifennwyd ar sleid.
Lefel 5, Cerddorfa: Caiff adfer ei wella’n barhaus, ei integreiddio ar draws y sefydliad, ac mae’n addasol. Caiff adferiadau failover ac ystafell-lân adfer seiber eu hymarfer fel arfer arferol, caiff risg cyflenwyr a chrynodiad ei reoli’n weithredol, ac mae parhad wedi’i integreiddio â dibynadwyedd (pennod 9.1) ac ymateb i ddigwyddiadau (pennod 9.3) fel bod y sefydliad yn adfer yn ragweladwy o fethiannau na welodd erioed o’r blaen ac yn ailgwmpasu ei ystum adfer wrth i dirwedd y system a’r darlun bygythiad newid.

Syniadau ar gyfer trafodaeth

Pa un o’ch systemau hanfodol na chafodd erioed ei hadfer o ben i ben, a beth fyddai ei angen i brofi y gellir gwneud hynny?
Pe baech yn colli eich prif ranbarth cwmwl am ddiwrnod cyfan, pa brosesau busnes sy’n stopio, a pha drefn y byddech yn dod â systemau’n ôl?
Faint o’ch adfer sy’n dibynnu ar gyflenwyr na allwch weld na phrofi eu hadferiad eu hunain?
Ble rydych yn talu am haen adfer nad yw’r dadansoddiad effaith fusnes yn ei chyfiawnhau, a ble rydych yn tan-amddiffyn?
Pe bai eich copïau wrth gefn yn hygyrch ac wedi’u hamgryptio heno, beth yw eich pwynt adfer glân-hysbys diwethaf mewn gwirionedd?
Beth yw’r bwlch gonest rhwng eich RTO a’ch RPO addawedig a’r rhai a gyflawnodd eich ymarfer diwethaf mewn gwirionedd?

Prif gasgliadau

Parhad yw’r nod; adfer yw modd. Mae cynllunio parhad busnes yn cadw’r sefydliad i redeg; mae adfer trychineb yn adfer y systemau TG y mae’n dibynnu arnynt.
Mae RTO a RPO yn gyrru popeth, ac mae’r ddau’n dod o ddadansoddiad effaith fusnes, nid o ddyfalu peirianneg. Haenwch systemau yn hytrach na diogelu pob un yn gyfartal.
Nid yw copi wrth gefn heb ei brofi yn gopi wrth gefn. Dilynwch reol 3-2-1, cadwch o leiaf un copi anghyfnewidiol ac all-lein yn erbyn ransomware, a phrofwch adferiadau ar amserlen.
Cyfatebwch y strategaeth DR â’r rhif: copi wrth gefn-ac-adfer, golau peilot, wrth-gefn cynnes, neu weithredol-gweithredol, wedi’u dewis gan RTO a RPO pob system.
Mae dyblygu’n cyfnewid cysondeb am ffresni (pennod 3.3); eich RPO go iawn yw eich oedi dyblygu, nid eich dogfen ddylunio.
Ailadeiladwch o god gyda seilwaith fel cod (pennod 8.2), a mapiwch eich dibyniaethau cyn bod eu hangen arnoch.
Profwch gydag ymarferion bwrdd, diwrnodau gêm, ac ymarferion failover llawn, a mesurwch RTO a RPO gwirioneddol yn erbyn y targed.
Cynlluniwch adfer seiber ar wahân gydag adferiad ystafell-lân, a chysylltwch yr arfer cyfan â dibynadwyedd (pennod 9.1), ymateb i ddigwyddiadau (pennod 9.3), a chydymffurfiaeth (pennod 4.6).

Cyfeiriadau a darllen pellach

ISO 22301, Security and resilience: Business continuity management systems: Requirements (the international standard for BCP).
National Institute of Standards and Technology, SP 800-34 Rev. 1: Contingency Planning Guide for Federal Information Systems (RTO, RPO, and recovery strategies for government systems).
National Institute of Standards and Technology, SP 800-61 Rev. 2: Computer Security Incident Handling Guide (incident and cyber-recovery handling).
U.S. Federal Emergency Management Agency, Continuity Guidance Circular and federal COOP guidance (essential functions and continuity of operations).
Federal Financial Institutions Examination Council (FFIEC), Business Continuity Management booklet (regulatory recovery expectations for financial institutions).
Betsy Beyer, Chris Jones, Jennifer Petoff, Niall Richard Murphy, eds., Site Reliability Engineering: How Google Runs Production Systems (reliability and disaster testing).
Kelly Shortridge and Aaron Rinehart, Security Chaos Engineering (deliberately exercising failure and recovery).
Cybersecurity and Infrastructure Security Agency (CISA), #StopRansomware Guide (ransomware prevention and recovery practice).