Den gode datakonvertering

Datakonverteringer i STAR City skal gennemføres kontrolleret, dokumenteret, valideret og reproducerbart, således at:

• Dataintegritet opretholdes

• Forretningsregler respekteres

• Historik og nøgler håndteres korrekt

• Integrationer påvirkes kontrolleret

• Konverteringen kan forklares og revideres

Siden er normativ. Krav markeret med “skal” er obligatoriske.

Denne side gælder for produktionskonverteringer ved:

• Ændringer i nøglestruktur

• Flytning mellem databaser eller siloer

• Initial loads

Konverteringer gennemføres altid i testmiljøer før produktionsafvikling.

En teknisk konvertering er en strukturel eller fysisk flytning af data, hvor:

• Forretningsmæssig tilstand ikke ændres

• Data ikke genbehandles forretningsmæssigt

• Der ikke udsendes Webservicebeskeder (WSB)

Teknisk konvertering:

• Må ikke udsende Webservicebeskeder

• Må ikke utilsigtet trigge integrationer

En forretningsrekonstruerende konvertering indebærer, at:

• Forretningsregler genanvendes eller genberegnes

• Forretningsmæssig tilstand genskabes

• Webservicebeskeder (WSB) udsendes som led i rekonstruktionen

Forretningsrekonstruerende konverteringer:

• Skal udsende Webservicebeskeder

• Skal dokumenteres eksplicit i konverteringsdrejebogen

• Skal varsles særskilt til berørte eksterne parter

• Skal beskrive integrationspåvirkning

Manglende udsendelse af WSB er ikke tilladt.

1. Konverteringer skal først gennemføres og verificeres i testmiljøer.

2. Konverteringer skal kunne afvikles kontrolleret og i definerede batches/chunks.

3. Konverteringer skal være idempotente og kunne genafvikles uden at skabe dubletter eller inkonsistens.

4. Konverteringer skal designes til kontrolleret produktionsafvikling.

   • Køretid under 1 time er et optimeringsprincip – ikke en forudsætning.

5. Konverteringstype skal være eksplicit defineret.

6. Historiske data skal håndteres eksplicit.

7. Mapning mellem gamle og nye nøgler skal være fuldt dokumenteret.

8. Konverteringer skal valideres via ServiceRuleCheck (SRC).

Der skal udarbejdes et mapningsdokument efter metoden i: https://starwiki.atlassian.net/wiki/spaces/CITY/pages/4168122820

Mapningsdokumentet skal være entydigt og udfyldt pr. sourcekolonne og som minimum indeholde:

• Source tabel

• Source kolonne

• Target tabel

• Target kolonne

• Transformationsregel (SQL/regelbeskrivelse)

• Join-regel (hvis relevant)

• Nøglemapning

• Historikhåndtering

• Nullbarhed

• Defaultværdi

• Valideringsregel

• Datakvalitetsbemærkning

Mapningsdokumentet skal være tilstrækkeligt præcist til, at konverteringsscript kan genereres deterministisk uden fortolkning.

Drejebogen skal beskrive:

• Konverteringstype

• Afviklingsrækkefølge

• Chunk-strategi (fx pr. PersonId, tidsinterval eller nøgle-range)

• Idempotensstrategi

• Backout-strategi

• Estimeret køretid

• Integrationspåvirkning

Ved forretningsrekonstruerende konvertering skal drejebogen indeholde:

• Liste over udsendte Webservicebeskeder

• Udløsende kriterier pr. WSB-type

• Sekvens/orden hvis relevant

• Deduplikeringsnøgle

• Dokumentation for særskilt varsling

Alle fortolkningsspørgsmål og forretningsmæssige afklaringer skal dokumenteres.

Beslutningsloggen skal sikre:

• Transparens

• Sporbarhed

• Revisionsmulighed

Inden konvertering skal der gennemføres dataprofilering mod produktion.

Dataprofileringen skal:

• Identificere outliers

• Validere nullbarhed

• Understøtte transformationer

• Dokumenteres og vedlægges drejebogen

Konverteringer skal valideres via: https://starwiki.atlassian.net/wiki/spaces/CITY/pages/4599087172

Konverteringen må ikke godkendes før:

• SRC er kørt mod målmiljø

• Valideringsresultater er dokumenteret

• Eventuelle afvigelser er håndteret og dokumenteret

SRC-resultat skal som minimum dokumentere:

• Regel-id

• Felt/entitet

• Antal fejl

• Eksempler på fejlende nøgler

• Kørselstidspunkt

SRC er obligatorisk fra og med 2026-3 releasen.

Konverteringsscripts skal:

1. Være deterministiske

2. Være idempotente

3. Kunne afvikles i batches

4. Logge antal behandlede rækker

5. Logge antal fejl

6. Kunne genafvikles uden manuel oprydning

Manuel datarettelse i produktion er ikke tilladt.

Følgende er ikke tilladt:

• Konvertering uden mapningsdokument

• Konvertering uden SRC-validering

• Manglende stillingtagen til konverteringstype

• Forretningsrekonstruerende konvertering uden varsling

• Udsendelse af WSB fra teknisk konvertering

• Ikke-idempotente scripts

• Manuelle produktionsændringer