7.7 Modelu data a’r haen semantig

Trosolwg a chymhelliant

Mae model data yn benderfyniad ynghylch beth mae eich data’n ei olygu, a wneir cyn i chi benderfynu ble mae’r data’n byw. Mae’n enwi’r pethau y mae’ch busnes yn poeni amdanynt, y priodoleddau sy’n eu disgrifio, a’r perthnasoedd rhyngddynt. Daw storio, mynegeion, fformatau ffeiliau, a pheiriannau ymholi i gyd yn ddiweddarach. Mae’r drefn hon yn bwysig oherwydd bod ystyr eich data’n goroesi pob technoleg a ddefnyddiwch i’w chadw. Mae warysau’n cael eu disodli, mae fformatau tablau’n newid, a daw peiriannau ymholi a mynd, ond mae’n rhaid i “cwsmer,” “archeb,” a “defnyddiwr gweithredol” olygu’r un peth ar draws pob un ohonynt, am flynyddoedd.

I dîm bach, mae modelu’n aml yn ymhlyg. Mae un peiriannydd yn cadw’r sgema gyfan yn ei ben, ac mae dealltwriaeth gyffredin o “refeniw” yn goroesi am mai dim ond tri pherson sydd i anghytuno. Ar raddfa sefydliadau datblygwyr mawr, mentrau, ac asiantaethau llywodraeth, mae’r anffurfioldeb hwnnw’n chwalu yn union fel y disgrifir ym mhennod 7.1 (strategaeth a llywodraethu data). Mae dwsinau o dimau’n adeiladu cannoedd o dablau, pob un â’i syniad ei hun o beth yw “sesiwn” neu pryd mae defnyddiwr yn cyfrif fel “gweithredol.” Mae dau ddangosfwrdd yn dangos dau rif gwahanol ar gyfer yr un wythnos, ac mae cyfarfod arweinyddiaeth yn troi’n ddadl ynghylch pwy sy’n iawn yn ei ymholiad yn hytrach na beth i’w wneud nesaf. Nid yw modelu gwael yn cyhoeddi ei hun. Mae’n ymddangos fisoedd yn ddiweddarach fel gwaith cysoni, archwiliadau wedi methu, a phenderfyniadau a wneir ar ffigurau na all neb eu hamddiffyn.

Mae’r bennod hon yn ymwneud â gwneud y gwaith hwnnw’n fwriadol. Mae’n ymdrin â modelau cysyniadol, rhesymegol, a ffisegol; modelu perthynas-endid; pryd i normaleiddio a phryd i ddadnormaleiddio; sut mae modelu’n wahanol ar gyfer llwythi gwaith trafodiadol yn erbyn rhai dadansoddol; modelu dimensiynol gyda ffeithiau a dimensiynau; a’r haen semantig sy’n dal yr un diffiniad llywodraethedig o bob metrig busnes. Nid mireinder er ei fwyn ei hun yw’r wobr. Y wobr yw bod “defnyddiwr gweithredol” a “refeniw” yn golygu un peth ym mhobman, fel y gall eich timau ymddiried yn y rhifau a symud yn gyflymach o’r herwydd.

Gweler hefyd: pennod 3.4 (pensaernïaeth a storio data), pennod 7.3 (dadansoddeg a deallusrwydd busnes), a phennod 11.5 (dangosyddion perfformiad allweddol).

Egwyddorion allweddol

Penderfynwch beth mae data’n ei olygu cyn i chi benderfynu ble mae’n byw.
Modelwch ar dri lefel: cysyniadol (busnes), rhesymegol (strwythur), ffisegol (gweithrediad).
Normaleiddiwch i ddiogelu cywirdeb mewn systemau trafodiadol; dadnormaleiddiwch yn fwriadol ar gyfer cyflymder dadansoddol.
Parwch y model â’r llwyth gwaith: mae gan drafodion a dadansoddeg anghenion dirgroes.
Mae gan bob metrig busnes union un diffiniad llywodraethedig, ac mae’n byw yn yr haen semantig.
Mae dimensiynau cyd-ffurfiol yn caniatáu i dimau annibynnol gyfuno a chymharu data’n ddiogel.
Mae gronigrwydd yn benderfyniad cynllunio a wnewch yn fwriadol, nid damwain ymholiad.
Mae modelau’n asedau byw: enwch nhw’n dda, dogfennwch nhw, a chadwch nhw’n esblygadwy.

Argymhellion

Modelwch ar dri lefel, yn eu trefn

Gweithiwch o’r ystyr tuag allan. Dechreuwch gyda model cysyniadol: yr endidau y mae’ch busnes yn poeni amdanynt a sut maen nhw’n perthyn, wedi’u hysgrifennu mewn iaith blaen y gall arbenigwr parth ei gwirio. “Mae cwsmer yn gosod llawer o archebion; mae archeb yn cynnwys llawer o eitemau llinell; mae pob eitem linell yn cyfeirio at un cynnyrch.” Dim allweddi, dim mathau, dim tablau eto. Yna adeiladwch fodel rhesymegol sy’n ychwanegu strwythur: priodoleddau, allweddi cynradd ac estron, cardinaleddau, a chyfyngiadau, o hyd yn annibynnol ar unrhyw gronfa ddata benodol. Modelu perthynas-endid yw’r nodiant safonol yma, a diagram perthynas-endid yw’r arteffact rydych yn ei adolygu gyda pheirianwyr a rhanddeiliaid busnes fel ei gilydd. Dim ond wedyn y byddwch yn cynhyrchu’r model ffisegol: y tablau, y colofnau, y mathau data, y mynegeion, y rhaniadau, a chynllun storio go iawn ar gyfer eich peiriant dewisol. Neidio’n syth i’r cynllun ffisegol yw’r camgymeriad modelu mwyaf cyffredin, oherwydd mae’n pobi dewisiadau technoleg heddiw i mewn i benderfyniadau a ddylai bara’n hwy na nhw.

Normaleiddiwch systemau trafodiadol, dadnormaleiddiwch rai dadansoddol yn fwriadol

Ar gyfer systemau sy’n cofnodi trafodion, ffafriwch normaleiddio cronfeydd data. Mae ffurfiau normal yn dileu dyblygrwydd fel bod pob ffaith yn cael ei storio unwaith, sy’n atal anomaleddau diweddaru ac yn cadw ysgrifau’n gywir pan fydd llawer o ddefnyddwyr yn newid data ar yr un pryd. Dyma’r rhagosodiad cywir ar gyfer prosesu trafodion ar-lein (OLTP), lle mae cywirdeb dan ysgrifau cydamserol yn bwysicach na chyflymder unrhyw un ymholiad dadansoddol. Mae gan systemau dadansoddol flaenoriaethau dirgroes. Maent yn drwm ar ddarllen, maent yn sganio ac yn cyfanswmio ystodau enfawr, ac mae cyfuno dwsinau o dablau wedi’u normaleiddio ar adeg ymholi’n araf ac yn anodd ei ddeall. Yno rydych yn dadnormaleiddio’n fwriadol, gan gyfuno priodoleddau cysylltiedig gyda’i gilydd fel bod ymholiadau’n symlach ac yn gyflymach. Y ddisgyblaeth yw dadnormaleiddio’n fwriadol, gyda rheswm wedi’i ddogfennu, yn hytrach na gadael i ddyblygrwydd ymgripio i mewn ar hap. Mae pennod 3.4 (pensaernïaeth a storio data) yn ymdrin â’r peiriannau sy’n gwneud i bob patrwm berfformio.

Defnyddiwch fodelu dimensiynol ar gyfer dadansoddeg

Ar gyfer llwythi gwaith dadansoddol, mabwysiadwch fodelu dimensiynol, y dull a boblogeiddiwyd gan Ralph Kimball. Rydych yn hollti’r byd yn ffeithiau a dimensiynau. Mae tabl ffeithiau’n dal mesuriadau proses fusnes: swm gwerthiant, hyd galwad, y maint a anfonwyd. Mae tablau dimensiwn yn dal y cyd-destun disgrifiadol rydych yn hidlo ac yn grwpio wrtho: y cwsmer, y cynnyrch, y siop, y dyddiad. Trefnwch un tabl ffeithiau wedi’i amgylchynu gan ei ddimensiynau ac mae gennych sgema seren, sy’n hawdd i ddadansoddwyr ei ddeall ac yn gyflym i beiriannau ei ymholi. Normaleiddiwch y dimensiynau hynny’n is-dablau a chewch sgema pluen eira, sy’n arbed rhywfaint o storfa ar draul mwy o gyfuniadau a mwy o gymhlethdod; ffafriwch y seren oni bai bod gennych reswm pendant. Ar gyfer amgylcheddau mawr iawn, rheoledig iawn lle mae archwiliadwyedd ac olrhain ffynhonnell yn dominyddu, mae dull data vault yn modelu canolfannau, cysylltiadau, a lloerennau i gipio hanes a llinach yn ymosodol, ar draul mwy o dablau a chromlin ddysgu serth. Dylai’r rhan fwyaf o dimau ddechrau gyda sêr ar arddull Kimball a throi at data vault dim ond pan fydd gofynion archwilio’n ei gyfiawnhau.

Sefydlwch y gronigrwydd a thrinwch ddimensiynau sy’n newid yn benodol

Cyn i chi ychwanegu un golofn at dabl ffeithiau, nodwch ei ronigrwydd: yn union beth mae un rhes yn ei gynrychioli. “Un rhes fesul eitem linell archeb.” “Un rhes fesul defnyddiwr fesul dydd.” Gronigrwydd yw sylfaen model cywir, oherwydd mae pob mesur a phob dimensiwn naill ai’n ffitio’r gronigrwydd honno neu ddim yn perthyn yn y tabl. Cymysgu gronigrwydd yw sut rydych chi’n cael refeniw wedi’i gyfrif ddwywaith. Yna penderfynwch sut mae dimensiynau’n newid dros amser. Mae cwsmer yn symud i ddinas newydd; a ydych chi’n trosysgrifo’r hen werth, yn cadw hanes llawn, neu’n olrhain dim ond y gwerth cyfredol a’r un blaenorol? Dyma’r patrymau safonol dimensiwn sy’n newid yn araf, ac mae dewis anghywir yn golygu bod eich adroddiadau hanesyddol yn ailysgrifennu’r gorffennol yn dawel. Penderfynwch ar y gronigrwydd a’r strategaeth newid ymlaen llaw, ysgrifennwch nhw i ddogfennaeth y model, a chadwch at hynny mewn adolygiad.

Adeiladwch un haen semantig fel yr unig ddiffiniad o bob metrig

Dyma’r argymhelliad sy’n talu am y bennod gyfan. Mae haen semantig yn eistedd rhwng eich tablau ffisegol a phob teclyn sy’n eu defnyddio, ac mae’n dal yr un diffiniad llywodraethedig o bob metrig busnes. Diffinnir “defnyddiwr gweithredol” unwaith, fel cod, gyda’i union resymeg: pa ddigwyddiadau sy’n cyfrif, dros ba ffenestr, gan eithrio pa gyfrifon mewnol. Diffinnir “refeniw” unwaith, gan gynnwys sut mae ad-daliadau, gostyngiadau, a throsi arian cyfred yn cael eu trin. Mae pob dangosfwrdd, llyfr nodiadau, adroddiad, a swydd reverse-ETL yn darllen y diffiniad hwnnw yn hytrach na’i ailweithredu mewn ymholiad pwrpasol. Pan fydd y diffiniad yn newid, mae’n newid mewn un lle a phob defnyddiwr yn diweddaru gyda’i gilydd. Dyma’r mecanwaith sy’n gwneud diffiniadau metrig llywodraethedig yn real yn hytrach nag yn ddyheadol, ac mae’n weithrediad uniongyrchol o’r hyn y mae pennod 11.5 (dangosyddion perfformiad allweddol) yn gofyn amdano. Trinwch ddiffiniadau metrig fel cod wedi’i fersiynu gyda pherchnogion, adolygiad, a phrofion, yn union fel y mae pennod 7.1 yn gofyn i chi drin data fel cynnyrch.

Sefydlwch gonfensiynau, enwi, a dogfennaeth

Mae cysondeb yn nodwedd. Mabwysiadwch gonfensiynau enwi a’u gorfodi: confensiwn ar gyfer enwau tablau, confensiwn ar gyfer allweddi, safon ar gyfer colofnau dyddiad, rheol ar gyfer sut rydych yn marcio ffaith yn erbyn dimensiwn. Penderfynwch unwaith p’un a ydych yn defnyddio enwau endid unigol neu luosog a byth eu cymysgu. Dogfennwch bob model lle bydd y bobl sy’n ei ddefnyddio’n edrych: ystyr pob tabl, gronigrwydd pob ffaith, diffiniad pob metrig, a pherchennog pob un. Enwi a dogfennaeth dda yw’r hyn sy’n gadael i ddadansoddwr newydd wasanaethu ei hun yn hytrach na thorri ar draws y tîm, a dyna sy’n gadael i archwilydd olrhain rhif o gyflwyniad bwrdd yn ôl i’w ffynhonnell heb daith dywysedig.

Cadwch fodelau’n esblygadwy

Bydd eich model yn newid, felly cynlluniwch ar gyfer newid. Ychwanegwch golofnau yn hytrach nag ailbwrpasu rhai sy’n bodoli eisoes. Defnyddiwch allweddi arwynebol fel nad yw newid yn allwedd naturiol system ffynhonnell yn tonni trwy eich warws. Fersiynwch ddiffiniadau metrig a’u dirymu gyda rhybudd yn hytrach na’u newid yn dawel o dan ddangosfyrddau sy’n rhedeg. Cadwch drawsffurfiadau mewn rheolaeth fersiynau, wedi’u profi, ac wedi’u hadolygu, fel bod newid i ystyr “defnyddiwr gweithredol” yn gais tynnu (pull request) gyda gwahaniaeth a chymeradwywr, nid golygiad tawel mewn teclyn BI. Mae model na allwch ei esblygu’n ddiogel yn dod yn fodel y mae pobl yn mynd o’i gwmpas, a diffiniadau cysgodol yw sut mae’r un ffynhonnell wirionedd yn marw.

Cyfaddawdau: manteision ac anfanteision

Dull	Manteision	Anfanteision	Ffit gorau
Wedi’i normaleiddio (3NF)	Ysgrifau cywir, dim dyblygrwydd, hyblyg	Cyfuniadau dadansoddol araf, ymholiadau cymhleth	Systemau OLTP a gweithredol
Sgema seren (Kimball)	Cyflym, greddfol, cyfeillgar i ddadansoddwyr	Rhywfaint o ddyblygrwydd, ETL i’w gynnal	Y rhan fwyaf o ddadansoddeg a BI
Sgema pluen eira	Llai o storfa, dimensiynau glanach	Mwy o gyfuniadau, mwy o gymhlethdod	Dimensiynau mawr, wedi’u llywodraethu’n dynn
Data vault	Hanes llawn, archwiliadwy, llwythi ystwyth	Llawer o dablau, cromlin ddysgu serth	Rheoledig iawn, trwm ar archwilio
Haen semantig dros fodelau	Un diffiniad ym mhobman, niwtral o ran teclyn	Adeiladu ymlaen llaw, angen perchnogaeth	Sefydliadau aml-dîm, aml-declyn

Y tyndra canolog yw cyflymder un ymholiad yn erbyn cywirdeb a hyblygrwydd ar draws yr ystad gyfan. Mae normaleiddio’n diogelu cywirdeb ac yn talu amdano mewn cymhlethdod ymholiad; mae modelau dimensiynol yn prynu cyflymder ac eglurder ymholiad ac yn talu amdano gydag ETL a rhywfaint o ddyblygrwydd wedi’i reoli. Nid oes enillydd cyffredinol, a dyna pam rydych yn paru’r model â’r llwyth gwaith yn hytrach na dewis ffefryn. Mae’r haen semantig yn datrys yr ail dyndra, rhwng llawer o dimau a llawer o declynnau, drwy wneud diffiniad y metrig yn annibynnol ar unrhyw un ohonynt. Y camgymeriad yw trin y rhain fel gwersylloedd ideolegol. Mae sefydliad iach yn rhedeg systemau OLTP wedi’u normaleiddio, modelau dadansoddol dimensiynol wedi’u bwydo ohonynt, ac un haen semantig ar ben, pob un yn gwneud y gwaith y mae’n dda ynddo.

Cwestiynau i’w trafod gyda’ch tîm

Pan fydd dau ddangosfwrdd yn dangos rhifau gwahanol ar gyfer yr un metrig, diffiniad pwy sy’n ennill, a ble mae’r diffiniad hwnnw’n byw’n ffisegol? Mae’r cwestiwn hwn yn datgelu a oes gennych chi wir un ffynhonnell wirionedd neu a ydych chi’n credu bod gennych un yn unig. Yn y rhan fwyaf o dimau mawr, yr ateb gonest yw bod “defnyddiwr gweithredol” yn cael ei ailddiffinio mewn dwsin o ymholiadau gwahanol, a’r enillydd yw pwy bynnag sy’n dadlau uchaf yn y cyfarfod. Dewch â thystiolaeth go iawn: dewiswch un metrig, dewch o hyd i bob man y caiff ei gyfrifo, a chymharwch y rhesymeg linell wrth linell. Byddwch bron yn sicr o ddod o hyd i anghytundebau tawel ynghylch ffenestri, eithriadau, ac achosion ymyl. Dylai’r ateb yrru penderfyniad i adeiladu haen semantig lle diffinnir pob metrig unwaith, fel cod wedi’i adolygu, fel bod y cwestiwn yn peidio â bod am bobl ac yn dechrau bod am arteffact wedi’i fersiynu. Hyd nes bod gan y diffiniad hwnnw un cartref ffisegol, mae pob cysoniad yn dros dro.
Beth yw gronigrwydd eich tabl ffeithiau pwysicaf, ac a all pawb yn yr ystafell ei nodi yn yr un ffordd? Gronigrwydd yw’r sylfaen dawel y mae’r rhan fwyaf o fethiannau modelu’n olrhain yn ôl ati. Os yw hanner y tîm yn dweud “un rhes fesul archeb” a’r hanner arall yn dweud “un rhes fesul eitem linell,” mae gennych chi nam cyfrif dwbl yn aros i ymddangos mewn adroddiad refeniw. Dewch â’r tabl go iawn a gofynnwch i bob person ddisgrifio un rhes mewn un frawddeg. Nid problem gyfathrebu i’w llyfnhau yw anghytundeb yma; mae’n ddiffyg cynllunio i’w drwsio cyn i fwy o fesurau bentyrru ar ei ben. Dylai’r ateb gael ei ysgrifennu i mewn i ddogfennaeth y model a’i orfodi mewn adolygiad, oherwydd unwaith y bydd dadansoddwyr yn adeiladu ymholiadau ar ronigrwydd amwys, mae’r amwysedd yn lledaenu’n gyflymach nag y gallwch ei gywiro.
Sut fydd y model hwn yn amsugno newid, a beth sy’n digwydd i adroddiadau’r llynedd pan fydd diffiniad yn newid? Mae pob model yn wynebu systemau ffynhonnell sy’n newid, rheolau busnes sy’n newid, a diffiniadau metrig sy’n newid, felly’r cwestiwn gwirioneddol yw p’un a yw newid yn gais tynnu rheoledig neu’n olygiad tawel sy’n ailysgrifennu hanes. Dewch ag enghraifft ddiweddar: metrig y newidiodd ei ddiffiniad, neu allwedd ffynhonnell a gafodd ei hailenwi, ac olrheiniwch beth ddigwyddodd i ddangosfyrddau presennol. Os cafodd dimensiwn sy’n newid yn araf ei drin drwy drosysgrifo, mae’n bosibl bod eich adroddiadau hanesyddol wedi newid eu gwerthoedd gorffennol yn dawel, sy’n broblem ddifrifol i unrhyw un sy’n gwneud dadansoddiad tueddiadau neu adrodd rheoledig. Dylai’r ateb eich gwthio tuag at allweddi arwynebol, diffiniadau metrig wedi’u fersiynu, strategaethau newid clir, a thrawsffurfiadau a gedwir mewn rheolaeth fersiynau gydag adolygiad. Mae model na all neb ei newid yn ddiogel yn dod yn fodel y mae pobl yn ei adael.
Pa ddimensiynau sy’n gorfod golygu’r un peth ar draws pob tîm, a phwy sy’n atebol am fod yn berchen ar bob un? Dimensiynau cyd-ffurfiol yw’r hyn sy’n gadael i farchnata, cyllid, a gweithrediadau gyfuno eu data a chael atebion cymaradwy, ond dim ond pan fydd “cwsmer,” “cynnyrch,” “rhanbarth,” a “dyddiad” yn cario un diffiniad y cytunwyd arno yn hytrach na chopi preifat fesul tîm. Y pwysau cystadleuol yw ymreolaeth: mae pob tîm eisiau modelu ei fyd ei hun ar ei gyflymder ei hun, ac mae gorfodi dimensiwn a rennir yn eu harafu yn y tymor byr wrth dalu ar ei ganfed ar draws yr ystad. Dewch â’r ddau neu dri dimensiwn sy’n ymddangos yn y rhan fwyaf o adroddiadau traws-dîm, rhestrwch bob fersiwn o bob un sy’n bodoli heddiw, a gweld pa mor bell mae eu hallweddi a’u priodoleddau’n gwahaniaethu mewn gwirionedd. Enwch berchennog ar gyfer pob dimensiwn cyd-ffurfiol, oherwydd mae dimensiwn a rennir heb berchennog yn llithro’n ôl i gopïau preifat o fewn chwarter. Mewn lleoliadau menter a llywodraeth, lle mae ffigwr o un adran yn cael ei gymharu ag un arall yn gyhoeddus, mae dimensiwn anghyd-ffurfiol yn wahaniaeth rhwng cymhariaeth onest a chelwydd damweiniol, felly penderfynwch yn gynnar pa ddimensiynau sy’n cael eu llywodraethu’n ganolog a pha rai sy’n aros yn lleol.
Ble mae’r ffin rhwng eich systemau trafodiadol wedi’u normaleiddio a’ch modelau dadansoddol wedi’u dadnormaleiddio, ac a yw pob dadnormaleiddio’n benderfyniad bwriadol? Paru’r model â’r llwyth gwaith yw’r ddisgyblaeth graidd, ac eto’r ffin yw’n union lle mae’n aneglur: mae dadansoddwr yn dadnormaleiddio tabl warws am gyflymder, mae peiriannydd yn normaleiddio tabl adrodd o arferiad, a wnaeth neb ysgrifennu i lawr pa ochr y mae pob dewis yn perthyn iddi. Y tyndra yw cyflymder un ymholiad yn erbyn cywirdeb a hyblygrwydd ar draws popeth, ac mae pobl resymol yn glanio’n wahanol yn dibynnu a ydynt yn berchen ar ysgrifau neu ddarlleniadau. Dewch â’ch ymholiad dadansoddol arafaf a’ch tabl trafodiadol mwyaf cystadleuol, a gofynnwch am bob colofn ddiangen p’un a ddewiswyd ei dyblygrwydd gyda rheswm wedi’i ddogfennu neu a ymgripiodd i mewn ar hap. Y nod yw rheol ysgrifenedig ar gyfer pryd y caniateir dadnormaleiddio a phwy sy’n arwyddo, nid cystadleuaeth purdeb. I sefydliadau mawr neu reoledig, mae’r ffin hon hefyd yn penderfynu ble mae data personol yn cael ei ddyblygu, felly mae dadnormaleiddio heb ei ddogfennu’n gwestiwn perfformiad ac yn agored i risg llywodraethu data y bydd yn rhaid i rywun ei esbonio i archwilydd yn y pen draw.
A ddylech chi adeiladu neu brynu’r haen semantig, a phwy sy’n atebol am gadw pob diffiniad metrig yn gyfredol unwaith y bydd yn bodoli? Dim ond pan fydd yn eiddo i rywun ac yn cael ei chynnal y mae haen semantig yn cyflenwi un ffynhonnell wirionedd, felly mae dewis y teclyn yn llai pwysig na’r ateb i bwy sy’n adolygu newid i ystyr “refeniw” a phwy sydd yn y ffrâm pan fydd diffiniad yn mynd yn hen. Mae’r ystyriaethau cystadleuol yn real: mae adeiladu’n rhoi rheolaeth i chi ac yn ffitio’ch stac ond yn ychwanegu baich peirianneg, tra bod prynu teclyn metrigau’n gyflymach ond yn peryglu clymu i werthwr ac iaith diffiniad nad ydych yn ei rheoli’n llawn. Dewch â’ch llond llaw o fetrigau risg uchaf, y teclynnau sy’n eu defnyddio heddiw, a darlleniad gonest o p’un a yw unrhyw un yn berchen ar y diffiniadau hynny ar hyn o bryd neu a ydynt yn syml yn bodoli. Penderfynwch ymlaen llaw p’un a yw diffiniadau’n byw fel cod wedi’i fersiynu gyda pherchnogion enwedig a phrofion, oherwydd mae haen semantig na fydd neb yn ei chynnal yn pydru’n ôl i’r un diffiniadau gwasgaredig yr oedd i fod i’w disodli. Mewn adrodd menter a llywodraeth, lle mae’n rhaid i fetrig ar ddangosfwrdd cyhoeddus fod yn olrheiniadwy i ddiffiniad dogfennedig, wedi’i adolygu, y berchnogaeth honno a’r gallu i brofi llinach rhif yw’r hyn sy’n troi’r haen semantig o gyfleustra’n rheolaeth archwiliadwy.

Trwy lens sector

Cwmni newydd. Gall modelu aros, ond ni all diffiniadau. Gyda dau beiriannydd a dim rhedfa i adeiladu warws, rhowch un haen semantig fach yn eich teclyn trawsffurfio a diffiniwch y ddau neu dri metrig y mae’ch bwrdd yn eu gwylio mewn gwirionedd, “defnyddiwr gweithredol” a “refeniw,” unwaith fel cod wedi’i brofi. Hepgorwch data vault a sgemâu dimensiynol manwl; mae seren denau a llond llaw o ddiffiniadau llywodraethedig yn prynu rhifau cyson i chi heb arafu cyflenwi. Y wobr yw bod paratoi bwrdd yn peidio â bod yn ddadl ynghylch pwy sy’n iawn yn ei ymholiad.

Busnes bach. Nid oes gennych chi fodelwr data na chyllideb ar gyfer platfform metrigau, felly dibynnwch ar y diffiniadau sydd wedi’u hadeiladu i mewn i’r teclynnau rydych eisoes yn eu rhedeg ac ysgrifennwch i lawr y rhai ychydig sy’n bwysig mewn un ddogfen a rennir y mae pawb yn ei darllen. Ffafriwch brynu dadansoddeg wedi’i mewnadeiladu yn eich meddalwedd presennol dros sefydlu warws na allwch ei staffio. Lle rydych yn modelu, cadwch bethau’n syml ac enwch bethau’n gyson, oherwydd efallai mai’r person sy’n ei gynnal y flwyddyn nesaf yw’r un na all gofio pam yr oedd “cwsmer” yn golygu dau beth. Mae cysondeb yn rhatach na chysoni.

Menter. Y broblem yw llawer o dimau a llawer o declynnau’n llithro i mewn i ddiffiniadau preifat, felly buddsoddwch mewn dimensiynau cyd-ffurfiol, un haen semantig lywodraethedig, a diffiniadau metrig a gedwir fel cod wedi’i fersiynu gyda pherchnogion ac adolygiad. Safonwch enwi, datganiadau gronigrwydd, a strategaethau dimensiwn sy’n newid yn araf ar draws yr ystad fel bod rhif mewn un teclyn yn cyfateb i’r un rhif mewn un arall. Trinwch yr haen semantig fel cynnyrch gyda map ffordd a thîm perchnogol, a mesurwch faint o amser cysoni y mae’n ei ddileu. Yr enillion yw rhifau dibynadwy ar draws y busnes ac archwiliadau sy’n olrhain yn lân o gyflwyniad bwrdd yn ôl i’r ffynhonnell.

Llywodraeth. Mae tryloywder a chymaroldeb traws-asiantaeth yn llunio’r gwaith: data cyfeirio canonaidd ar gyfer daearyddiaeth a demograffeg, diffiniadau llywodraethedig o ddangosyddion craidd, a methodoleg gyhoeddedig gyda rhyddhadau wedi’u fersiynu fel y gall y cyhoedd olrhain unrhyw ffigwr yn ôl i ddiffiniad dogfennedig. Efallai y bydd rheolau caffael yn ei gwneud yn ofynnol i’ch modelau a’ch diffiniadau aros yn gludadwy ac yn niwtral o ran gwerthwr, felly osgowch haen semantig sydd wedi’i chloi i un teclyn perchnogol. Cadwch asiantaethau unigol yn rhydd i fodelu eu data gweithredol tra’n cyd-ffurfio â dimensiynau a rennir ar gyfer unrhyw beth a adroddir yn genedlaethol. Mae dangosydd cyhoeddedig na ellir ei olrhain i ddiffiniad wedi’i fersiynu yn fethiant atebolrwydd cymaint ag y mae’n fethiant data.

Enghreifftiau

Cwmni newydd. Roedd gan gwmni Cyfres A dri diffiniad o “ddefnyddiwr gweithredol” yn byw mewn tri lle: y teclyn dadansoddeg cynnyrch, y daenlen gyllid, a chyflwyniad y buddsoddwyr. Nid oedd y rhifau byth yn cyfateb, a throdd pob paratoad bwrdd yn ffwdan. Cyflwynodd dau beiriannydd haen semantig fach yn eu teclyn trawsffurfio, gan ddiffinio “defnyddiwr gweithredol” a “refeniw cylchol misol” unwaith fel cod wedi’i brofi, gyda’r union ffenestri ac eithriadau wedi’u hysgrifennu i lawr. Mae pob dangosfwrdd bellach yn darllen y diffiniadau hynny. Diflannodd y ddadl paratoi bwrdd, ac aeth sefydlu dadansoddwr newydd o wythnos o wybodaeth lwythol i ddarllen un model dogfennedig. Mae hyn yn cysylltu’n uniongyrchol â’r ddisgyblaeth a ddisgrifir ym mhennod 7.4 (dadansoddeg cynnyrch ac arbrofi), lle mae diffiniad sefydlog o “weithredol” yw’r hyn sy’n gwneud canlyniadau arbrofion yn gymaradwy.

Menter. Roedd manwerthwr byd-eang yn rhedeg pum teclyn deallusrwydd busnes ar draws marchnata, cyllid, y gadwyn gyflenwi, masnachfarchnata, a siopau, ac roedd pob un wedi ailddyfeisio “elw crynswth” ychydig yn wahanol. Adeiladasant un haen semantig ar ben warws ar arddull Kimball gyda dimensiynau cyd-ffurfiol, fel bod “cynnyrch,” “siop,” a “dyddiad” yn golygu’r un peth ar draws pob tabl ffeithiau a phob teclyn. Diffiniwyd pob metrig unwaith a’i ddefnyddio ym mhobman. Diflannodd y cyfarfodydd cysoni a arferai fwyta diwrnodau fesul chwarter i raddau helaeth, a phan newidiodd cyllid sut roedd dychweliadau’n effeithio ar elw, lledaenodd y newid i bob un o’r pum teclyn ar unwaith. Y dimensiynau cyd-ffurfiol oedd yr hyn a adawodd i dimau annibynnol gyfuno eu data gyda hyder yn hytrach na drwgdybiaeth.

Llywodraeth. Roedd angen adroddiadau cymaradwy ar lywodraeth genedlaethol ar draws asiantaethau iechyd, llafur, ac addysg, pob un ohonynt yn hanesyddol wedi diffinio “cartref,” “rhanbarth,” a “chyflogaeth” yn ei ffordd ei hun. Sefydlodd corff traws-asiantaeth ddata cyfeirio a rennir a diffiniadau safonol: tablau dimensiwn canonaidd ar gyfer daearyddiaeth a demograffeg, a diffiniadau llywodraethedig o ddangosyddion craidd, wedi’u cyhoeddi gyda methodoleg a rhyddhadau wedi’u fersiynu. Mae asiantaethau unigol yn modelu eu data gweithredol eu hunain ond yn cyd-ffurfio â’r dimensiynau a’r diffiniadau a rennir ar gyfer unrhyw beth a adroddir yn genedlaethol. Y canlyniad yw y gellir cymharu ffigwr o un asiantaeth ag un arall yn onest, a gall y cyhoedd olrhain unrhyw ddangosydd cyhoeddedig yn ôl i ddiffiniad dogfennedig, gan gefnogi’r rhwymedigaethau tryloywder a drafodir ym mhennod 7.1.

Achos busnes: cymhellion, ROI, a TCO

Amser a adenillwyd a gwallau a osgowyd yw’r enillion ar fodelu da a haen semantig, gan mwyaf. Mewn llawer o sefydliadau, mae dadansoddwyr yn treulio’r rhan fwyaf o’u hamser yn dod o hyd i ddata, yn cysoni rhifau gwrthdrawiadol, ac yn ailadeiladu diffiniadau y mae pobl eraill eisoes wedi’u hysgrifennu. Mae un diffiniad llywodraethedig o bob metrig yn troi’r gwaith ailadroddus hwnnw’n fuddsoddiad untro. Mae hefyd yn dileu categori cyfan o fethiant drud: y rhif anghywir mewn cyflwyniad bwrdd, y ffigwr wedi’i gamadrodd sy’n sbarduno canfyddiad archwilio, y prosiect cysoni sy’n para chwarter ac sy’n bodoli dim ond oherwydd bod dau dîm wedi diffinio “refeniw” yn wahanol. Pan fydd y diffiniad yn byw mewn un lle wedi’i adolygu, mae’r methiannau hynny i raddau helaeth yn peidio â digwydd.

Mae’r gost yn real ac yn werth ei henwi. Rydych yn buddsoddi ymlaen llaw mewn modelu cysyniadol a rhesymegol, mewn adeiladu a llenwi’r haen semantig, ac mewn perchnogaeth barhaus sy’n cadw diffiniadau’n gyfredol. Mae cyfanswm cost perchnogaeth (TCO) yn cynnwys yr offer, yr amser modelu a pheirianneg ddadansoddeg, a’r llywodraethu i gadw’r model rhag llithro. Pwyswch hynny yn erbyn cost peidio â’i wneud, sy’n fwy ond wedi’i guddio: mae’n ymddangos fel piblinellau dyblyg, dadansoddwyr fel peiriannau cysoni dynol, a swyddogion gweithredol yn gwneud penderfyniadau hyderus ar ffigurau na all neb eu hamddiffyn. Gwnewch yr achos i arweinyddiaeth yn eu termau nhw. Un diffiniad dibynadwy o bob metrig yw’r hyn sy’n gadael iddyn nhw gymharu ar draws y busnes, ymddiried yn y dangosfyrddau, ac ateb rheoleiddwyr heb ymarfer tân. Dechreuwch lle mae’r boen cysoni waethaf, diffiniwch y metrigau ychydig hynny unwaith, a gadewch i’r amser a adenillwyd ariannu’r gweddill.

Gwrth-batrymau a pheryglon

Neidio’n syth i dablau ffisegol, gan bobi technoleg heddiw i mewn i benderfyniadau a ddylai bara’n hwy na hi.
Diffinio’r un metrig yn annibynnol ym mhob dangosfwrdd, fel nad oes dau rif yn cytuno.
Gadael gronigrwydd heb ei nodi, wedyn darganfod mesurau wedi’u cyfrif ddwywaith mewn adroddiad refeniw.
Dadnormaleiddio tablau dadansoddol ar hap yn hytrach na thrwy benderfyniad wedi’i ddogfennu.
Normaleiddio warws dadansoddol nes bod pob ymholiad yn gyfuniad deuddeg tabl nad oes neb yn ei ddeall.
Trin dimensiynau sy’n newid yn araf drwy drosysgrifo, fel bod adroddiadau hanesyddol yn ailysgrifennu’r gorffennol yn dawel.
Defnyddio allweddi naturiol ym mhobman, fel bod newid allwedd system ffynhonnell yn tonni trwy’r warws cyfan.
Adeiladu haen semantig heb berchennog, fel bod diffiniadau’n llithro ac ymddiriedaeth yn erydu.
Trin y model fel pe bai wedi’i orffen wrth lansio yn hytrach nag fel ased byw sy’n rhaid iddo aros yn esblygadwy.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae modelu’n ymhlyg ac yn adweithiol. Cynllunnir tablau’n ffisegol-gyntaf gan bwy bynnag sydd eu hangen. Ailddiffinnir metrigau ym mhob adroddiad, ac mae rhifau’n gwrthdaro’n rheolaidd. Nid yw gronigrwydd wedi’i ddogfennu, ac nid oes neb yn berchen ar y diffiniadau.
Lefel 2, Datblygu: Mae rhai tablau dadansoddol yn dilyn patrwm dimensiynol, ac mae gan ychydig o fetrigau allweddol ddiffiniadau ysgrifenedig, ond maen nhw’n byw mewn wici ac ni chânt eu gorfodi. Mae confensiynau enwi’n bodoli ar bapur. Mae arfer yn amrywio fesul tîm, ac mae cysoni’n dal yn aml ac â llaw.
Lefel 3, Safoni: Mae modelau cysyniadol, rhesymegol, a ffisegol yn wahanol ac yn cael eu hadolygu. Mae haen semantig yn diffinio metrigau craidd unwaith, fel cod wedi’i fersiynu gyda pherchnogion. Mae dimensiynau cyd-ffurfiol yn gadael i dimau gyfuno’n ddiogel. Mae strategaethau gronigrwydd a dimensiwn sy’n newid yn araf wedi’u dogfennu a’u gorfodi mewn adolygiad ar draws y sefydliad.
Lefel 4, Rheoli: Mae’r ystad fodelau’n cael ei mesur yn erbyn llinellau sylfaen. Rydych yn olrhain sylw diffiniadau metrig (y gyfran o fetrigau a adroddir a wasanaethir gan yr haen semantig), cyfrif diffiniadau dyblyg neu gysgodol sy’n dal i gael eu defnyddio, oriau cysoni a dreulir fesul chwarter, a chyfradd diffygion gronigrwydd a llinach a ddelir mewn adolygiad yn erbyn mewn cynhyrchu. Mae newidiadau diffiniad yn llifo trwy geisiadau tynnu wedi’u hadolygu gyda phrofion, ac mae ffresni, cyfraddau llwyddo profion, a llithriad yn cael eu gwylio ar ddangosfyrddau. Pan fydd metrig yn gwyro neu ddimensiwn yn peidio â chyd-ffurfio, mae’r mesuriad yn dod ag ef i’r amlwg cyn i gyfarfod bwrdd wneud hynny.
Lefel 5, Trefniannu: Mae gan bob metrig pwysig un diffiniad llywodraethedig a ddefnyddir gan bob teclyn a thîm, ac mae’r haen semantig wedi’i hintegreiddio â dadansoddeg, arbrofi, ac adrodd rheoledig. Mae modelau’n esblygadwy yn ôl cynllun ac yn cael eu mireinio’n barhaus; ymddiriedir yn ddiffiniadau ledled y sefydliad; mae gwaith cysoni i raddau helaeth wedi diflannu. Mae’r sefydliad yn rheolaidd yn dirymu, yn ailgwmpasu, ac yn cyd-ffurfio dimensiynau newydd wrth i’r busnes newid, gan ail-gydbwyso’r ystad fodelau fel ased addasadwy.

Syniadau i’w trafod

Dewiswch eich tri metrig pwysicaf. Faint o ddiffiniadau gwahanol o bob un sy’n bodoli ar draws eich teclynnau heddiw, a beth fyddai ei angen i’w cywasgu’n un?
Ble mae gronigrwydd heb ei nodi wedi achosi gwall adrodd go iawn, a faint o amser a gymerodd i sylwi arno?
Pa rai o’ch dimensiynau ddylai gael eu cyd-ffurfio ar draws timau’n gyntaf, a phwy sy’n berchen arnynt?
A yw eich diffiniadau metrig mewn rheolaeth fersiynau gydag adolygiad, neu’n olygadwy’n dawel y tu mewn i declyn BI?
Pryd wnaeth dimensiwn sy’n newid yn araf ailysgrifennu’ch hanes ddiwethaf heb i neb sylwi, a sut fyddech chi’n ei ddal y tro nesaf?
Pe baech yn disodli eich peiriant warws yfory, faint o ystyr eich model fyddai’n goroesi’r symud?

Prif ganfyddiadau

Penderfynu beth mae data’n ei olygu yw modelu data, ac mae’r ystyr hwnnw’n goroesi pob technoleg storio a ddewiswch.
Modelwch ar dri lefel yn eu trefn: cysyniadol, yna rhesymegol, yna ffisegol.
Normaleiddiwch systemau trafodiadol ar gyfer cywirdeb; dadnormaleiddiwch rai dadansoddol yn fwriadol ar gyfer cyflymder.
Defnyddiwch fodelu dimensiynol gyda ffeithiau, dimensiynau, a gronigrwydd wedi’i nodi ar gyfer dadansoddeg.
Adeiladwch un haen semantig fel bod gan bob metrig busnes un diffiniad llywodraethedig ym mhobman.
Mae dimensiynau cyd-ffurfiol yn gadael i dimau annibynnol gyfuno a chymharu eu data gyda hyder.
Enwch yn dda, dogfennwch, defnyddiwch allweddi arwynebol, a fersiynwch ddiffiniadau fel bod y model yn aros yn esblygadwy.

Cyfeiriadau a darllen pellach

Ralph Kimball and Margy Ross, The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling.
Bill Inmon, Building the Data Warehouse.
Dan Linstedt and Michael Olschimke, Building a Scalable Data Warehouse with Data Vault 2.0.
Peter Chen, “The Entity-Relationship Model: Toward a Unified View of Data,” ACM Transactions on Database Systems.
E. F. Codd, “A Relational Model of Data for Large Shared Data Banks,” Communications of the ACM.
C. J. Date, An Introduction to Database Systems.
Lars Rönnbäck a chydweithwyr, ysgrifau ar fodelu angor.
DAMA International, DAMA-DMBOK: Data Management Body of Knowledge.