976.28 Load af nye ESCO data fra EU til ESCO STAR i Taxonomy

Beskrivelse af epic af it-understøttelse af Styrelsen for Arbejdsmarked og Rekrutterings forretning


STAR Projektleder (PL)Forretningsanalytiker (FA)STAR ReleaseEpic statusEksterne snitflader
Thor Herlev Jørgensen (STAR)

Nikolaj Goldberg Heinsen

Carsten Olsen

Christopher Juhl (Unlicensed)

2022-3

2022-3r02

0.5VOA, A-kasse(t.o.). KSS(t.o.)

Note til a-kasse og KSS

Denne epic er kun til orientering for a-kasse og KSS, da den er intern for STAR. Men da STAR laver en version 2 af /wiki/spaces/GI/pages/3631251457, som også a-kasse og KSS vil have adgang til at benytte, er denne epic også blevet distribueret.

A-kassen og KSS behøver ikke at fortage sig noget ift. denne epic - og kan uden problemer blive på version 1 af /wiki/spaces/GI/pages/2929000841. Der vil ikke være ny funktionalitet i version 2 af servicen, der umiddelbart har relevans for a-kassen og KSS.

Da STAR ikke forventer, at a-kasse og KSS anvender version 2 i 2022-3 forbeholder STAR sig på denne epic ikke at følge den normale frist for aflevering til a-kasse og KSS.

For nærmere detaljer om version 2 se /wiki/spaces/GI/pages/3631022161

Bemærk: Denne epic behandler ikke den forretningsmæssige arbejdsproces mellem STAR og serviceaftagerne omkring nye og ændrede ESCO STAR stillingsbetegnelser og alias. Denne epic indeholder alene den tekniske model der understøtter at nye ESCO versioner fra EU medtages i ESCO STAR.



Versionshistorik af betydning for eksterne (v0.1, v0.3, v0.5 og v1.0)

Anvendes ved ændringer, der har betydning for eksterne.

Dato

Version

Hvem

Hvad er ændret?

 

0.1

Carsten Olsen 

Oprettet 

30.03.2022

0.1

Thor Jørgensen

Opdateret med US'er

22.04.20220.1KnudKig med.

Interne links (indhold i links ikke relevant for eksterne)

key po fa ux sme eksterne snitflader interne snitflader status labels
Loading...
Refresh

DS-8819 - Getting issue details... STATUS

BI-1825 - Getting issue details... STATUS

JOB-6703 - Getting issue details... STATUS



Indholdsfortegnelse




Afgrænsning af epic

Afgrænsning

Som VOA 

vil jeg have at de nyeste ESCO data (kun stillingsbetegnelser og ikke alias) kan loades ind fra EU til ESCO STAR og jeg som VOA kan behandle disse data, inden de tages officielt med i ESCO STAR 

for at kunne holde ESCO STAR star ajour med ESCO.

Acceptkriterier

Nr.BeskrivelseRelevant for
976.28.1Som STAR / VOA vil jeg have en komponent, der kan hente det nyeste ESCO datasæt fra EU 

BI

DS-8824 - Getting issue details... STATUS

BI-2011 - Getting issue details... STATUS

BI-2012 - Getting issue details... STATUS

976.28.2Som STAR / VOA vil jeg have en komponent, der kan loade det nyeste ESCO datasæt fra EU ind i ESCO STAR (som ubehandlet)

BI

BI-2026 - Getting issue details... STATUS

BI-2027 - Getting issue details... STATUS

976.28.3Som STAR / VOA vil jeg have, at jeg kan behandle og QA'e ESCO EU ændringer, inden de kommer med i ESCO STAR til de eksterne eller interne (Jobnet, JobAG, VITAS m.v.)

BVL1 ESCO STAR admin tool, BI, DFDG

DS-8860 - Getting issue details... STATUS

DS-8850 - Getting issue details... STATUS

DS-8852 - Getting issue details... STATUS

BI-2028 - Getting issue details... STATUS

JOB-6703 - Getting issue details... STATUS

976.28.4Som STAR / VOA vil jeg have, at jeg initierer at hente fra EU 

BI, DFDG

BI-2030 - Getting issue details... STATUS

976.28.5Som STAR / VOA vil jeg have loadet alle EU alias, men sat dem inaktive

BI, DFDG

BI-2029 - Getting issue details... STATUS



Kriterier for tilsagn til serviceaftager i forhold til STARs snitfladerBerørte acceptkriterierBemærkninger

976.28.3



Når STAR opdaterer ESCO STAR på baggrund ændringer i ESCO fra EU modtages WSRM på ændringenX


For KSS, a-kasse og andre aftagere vil man modtage en WSRM ligesom ved alle andre ændringer. Der er derfor ikke ændringer for KSS, a-kasse og andre aftagere i forhold til den nuværende situation













Oversigt over berørte webservices 

Manuel oversigt som er synlig for eksterne

Denne epic ændre ikke ved snitflader overfor de eksterne, men er alene STAR arbejdsgang og IT understøttelse af   


Links i listen virker kun med STAR Jira konto og kan derfor ikke tilgås af eksterne. Links under Summary indeholder ikke andre oplysninger relevant for eksterne end hvad der fremgår i tabellen.

(kopiér og indsæt manuelt i tabellen)

Summary

Varslingstype

Varslingsnote

Eksterne Snitflader

Interne Snitflader

Project

Taxonomy.EscoStarService (Version 2).CreateOccupationÆndretÆndret ift. v1, intern metode. Anvendes i STAR.N/ATAXONOMYD+S
Taxonomy.EscoStarService (Version 2).UpdateOccupationÆndretÆndret ift. v1, intern metode. Anvendes i STAR.N/ATAXONOMYD+S
Taxonomy.EuEscoStatusCodeListNyNy kodelisteN/ATAXONOMYD+S

Automatisk oversigt

Ikke synlig for eksterne, men indeholder ikke andre oplysninger end kopieret til den manuelle oversigt ovenfor.

summary varslingstype varslingsnote eksterne snitflader interne snitflader project
Loading...
Refresh


Beskrivelse af epic

Baggrund

Her udfylder PO oplysninger om baggrund for epic'en, herunder fx om der ligger politisk aftale eller lovgivning bag. Særligt vigtigt, at dette fremgår, hvis det ikke fremgår i en overliggende ISB, hvortil der evt. kan henvises.


Regler

Her udfylder PO oplysninger om eksisterende eller forventede regler om registrering og indberetning.


Forventet påvirkning af jobcenter-, a-kasse- eller ydelsessystemer

Her beskriver PO overordnet, hvordan epic'en forventes at påvirke aftagerne. Særligt vigtigt, at dette fremgår, hvis det ikke fremgår i en overliggende ISB, hvortil der evt. kan henvises.


Acc.kr. 976.28.1 - Som STAR / VOA vil jeg have en komponent der kan hente set nyeste ESCO datasæt fra EU 

Løsningsmodel

De mulige løsningemodeller for at hente opdateringer fra EU:

  1. Nye ESCO stillingsbetegnelser kommer via flad fil (CSV) der hentes fra EU's ESCO siden
  2. Nye  ESCO stillingsbetegnelser kommer via EU ESCO webservice snitflade. Se:
    1. https://www.esco-projects.eu/esco/portal/api?resetLanguage=true&newLanguage=da#ESCO_Web_Services_API
    2. https://audiovisual.ec.europa.eu/en/video/I-161740 
    3. https://ec.europa.eu/esco/api/doc/esco_api_doc.html#api-BulkOperation-getOccupationByUri

Umiddelbart er mulighed 2 langt at fortrække, bl.a. fordi vores erfaringer med CSV filen er, at den krævede en del efterbehandling, inden den kunne anvendes - og det vil ikke muligt at automatisere afhentning af CVS filern. Den skal downloades manuelt. Dette er denne model, der er den er vores arbejdsantagelse for denne epic

Det vil altid være de nyeste data - på hentningstidspunktet - der hentes fra EU.
Dvs man kan ikke gå tilbage til tidligere ESCO versioner, man kan spring ESCO versioner over og man kan i princippet hvilken som helst ESCO version, så længe den er nyere en den version der er i ESCO STAR .

Når data hentes fra EU vil der være en ETL proces, inden de sættes ind i ESCO STAR til VOA's behandling (976.28.3). Det betyder, at der etableres de relevante load tabeller.

Der sker en verificering af ESCO data for at sikre data lever op til forventerningerne så vi ikke får smadret ESCO STAR pga. en fejlbehæftet leverance fra EU eller specille . Identificeres et problem, startes en manuel proces. Problemstillinger der kontrollere for er f.eks.

  • Der ikke er er nogle stillingsbetegnelser, der ligger forkert i hierarkiet
  • Der ikke er er nogle stillingsbetegnelser, der har flyttet plads i hierarkiet


 

For beskrivelse af flow se Load af opdateret ESCO fra EU til ESCO STAR


Acc.kr. 976.28.2 - Som STAR / VOA vil jeg have en komponent, der kan loade nye ESCO datasæt fra EU ind i ESCO STAR (som ubehandlet)

Løsningsmodel (gælder også for alle acceptkriterier fra 976.28.1 til 976.28.3

Da omkostningerne til at lave decideret kladdemodel for ESCO ændringer, der skal ind i ESCO STAR, var omfattende, er en sådan fravalgt. Men der stadig er en behov for at ændringer lige verificeres, inden de bliver en del af ESCO STAR. Denne MVP model bygger på grundprincippet om at ændringer fra EU skal verificere,s inden de slippe løs i ESCO STAR. Den omfatter følgende trin (i skitseform):

  1. Et load område, hvor ny ESCO version loades 1 til 1 ind og det kan verificeres, at data liver op til forventerningerne (976.28.1)
    1. Load sker via ESCOs REST API / Direkte load fra BI (vi skal lige have på plads hvad der skal ske ved iaktivering)
    2. I tilfælde af, at der er elementer, der ikke kan loades undtades disse, men skal håndteres, klares dette via Fogbugz fra VOA til BI
      Baggrunden er, at der kan være specielle situationer som vi ikke ønsker at understøtte i admin toolet og som bedre/mere fornuftigt kan håndteres ved manuel behandling
  2. VOA lave ændringsliste 1,der viser ændringer fra EU. Denne tage udganspunkt i delta liste fra EU
    1. VOA ved hvilke ting der kan loades automatisk, på elementer hvor dette ikke er mulig håndteres dette via Fogbugz fra VOA til BI hvor VOA oplyser hvad der skal ske forretningsmæssigt
  3. EU Data loades ind i ESCO STAR, men ændringer kan ikke ses fra eksterne og der sendes ikke WSRM.
    Load er efter følgende regler (p.t. kun skitse)(976.28.2)
    1. Ny ESCO stilling får et særligt flag ift om den ikke er behandlet (EUESCOStatusType sættes til "Ny fra EU ESCO" Id 2)
      1. ESCO STAR får stillinger får default EU navn, beskrivelse og alias som forslag til de danske
        (Dette vil ikke blive medtage på ESCO STAR snitfladen, undtagen hvis det er admin toolet, der skal bruge data) 
    2. Ny ESCO stilling, hvor der findes en dansk udgave (EUESCOStatusType sættes til "Ny fra EU ESCO" Id 2) 
      Det er ikke muligt automatisk at afgøre, at dette er tilfældet. En sådan behandles i load sammenhæng derfor som under punkt a og får et særligt flag om den ikke er behandlet
      1. ESCO STAR får stilling default EU navn, beskrivelse og alias som forslag til de danske
      (Disse vil ikke blive medtage på ESCO STAR snitfladen, undtagen hvis det er admin toolet, der skal bruge data)
    3. Eksisterende ESCO stillinger, der ændres, får:
      1. Hvis navn (PreferredlabelEU) ændres, fås et nye EU navn i ESCO STAR (der ændres ikke ved det danske navn (PreferredlabelDK)  
      2. Hvis beskrivelse ændres, fås en ny EU beskrivelse i ESCO STAR (der ændres ikke ved den danske beskrivelse)
      3. ESCO STAR stillingen får et særligt flag om de skal behandles (EUESCOStatusType sættes til "Ændring fra EU ESCO" Id 3)
        Der skal tage stilling til, om ændringen fra EU giver anledning til at ændre det danske navn og den danske beskrivelse
        Obs Nyt EU navn og / eller ny beskrivelse (PreferredlabelEU/descriptionEu) kommer med ud på snitfladen, men disse data bruges ikke i dansk sammenhæng og er derfor ikke at betragte som en ændring i forhold til de eksterne
    4. Eksisterende ESCO stillinger, der inaktivere, får:
      1. ESCO STAR stillingen får et særligt flag om den skal behandles, men den inaktiveres ikke i dansk sammenhæng (EUESCOStatusType sættes til "Inaktivering fra EU ESCO" Id 4)
        Der skal tage stilling til, om inaktiveringen fra EU skal have effekt for den danske udgave 
    5. Nyt alias på ESCO stillinger får et særligt flag, om den ikke er behandlet (EUESCOStatusType sættes til "Ny fra EU ESCO" Id 2)
      1. Alias (alternativeLabelDk) danske navn får default EU's navn (alternativeLabelEu)
        (Disse vil ikke blive medtage på ESCO STAR snitfladen, undtagen hvis det er admin toolet, der skal bruge data)
        Hvis EU's navn allerede findes som dansk alias, indsættes blot EU navnet
        Der skal tage stilling til, om aliaset fra EU giver anledning til at
        1. Det skal merges med et eksisterende dansk alias
        2. Der skal bruges i dansk sammenhæng og om det skal have dansk alias navn
    6. Eksisterende alias på ESCO stillinger, der ændres, får:
      1. Denne situation kan ikke opstå, da EU blot har en liste af tekster som alias. Ændrer de stavemåden i et alias betragtes det som ny i ESCO STAR sammenhæng
    7. Eksisterende alias på ESCO stillinger der fjernes fra EU (EUESCOStatusType sættes til "Inaktivering fra EU ESCO" Id 4)
      1. Hvis der findes et ESCO STAR alias med et EU navn (alternativeLabelEu), der ikke mere er med fra EU, får det særligt flag, om det skal behandles, men der sker ikke noget i dansk sammenhæng
    8. VOA har en ændringsliste 2 over, hvad der er loadet, som skal gennemgås i STAR/VOA med henblik på opdatering via Admin tool
      Listen er i princippet den samme som ændringsliste 1
  4.  I Vedligehold i Admin toolet kan man se flag for hvilke ESCO STAR stillingen, der er berørt af ændringer på skærmbilledet med stillingsbetegnelser (976.28.3) (UX Design mangler) 
  5. Godkendelse af ændring i Admin tool og besked til aftagere. Når en ESCO STAR stilling eller alias er behandlet i admin toolet fjernes flag for behandler (976.28.3)
    1. Hvis der er ændringer, sendes en WSRM på ændringen
    2. Der laves en ikke ændringslog til serviceaftager over de samlede ændringer der er publiceret i ESCO STAR dette håndteres via WSRM
      Hvis STAR ønsker en oversigt vil dette tage udgangspunkt i ændringsliste 2

Ovenstående er blot hovedprincipper. Der er en række detaljer, der ikke er beskrevet p.t.

Bemærk:

I ESCO STAR er EU alias pt ikke med pr 2022-2, i denne løsning er der alene tale om at ovenstående behandler EU alias og ligge dem ind i ESCO STAR, men som fravalgt. Dvs. de er ikke tilgængeligt eksternt. STAR vil efterfølgende så forretningsmæssigt og i en separat proces udenfor denne epic se på disse EU alias og vurderer hvilke der er relevante i dansk sammenhæng. Når de så aktiveres i dansk sammenhæng vil det udløse en WSRM til serviceaftagerne.

Acc.kr. 976.28.3  - Som STAR / VOA vil jeg have at jeg kan behandle ESCO EU ændringer, inden de kommer med i ESCO STAR til de eksterne

Løsningsmodel

Se model under 976.28.2 under punkt 4 og 5

/wiki/spaces/GI/pages/3631251457

GetOccupation (GET /v2/EscoStar/occupations/{conceptUri}) og GetOccupations (GET /v2/EscoStar/occupations)

Ny EU ESO status (EUESCOStatusType) på stillingsbetegnelser og alias.

Forretningsregler (Nye)

  • Hvis EU ESCO status (EUESCOStatusType) er "Ny fra EU ESCO" Id 2, medtages rækken (stillingsbetegnelsen eller aliaset) ikke, men medmindre den kaldende myndighed er STAR og kaldende system er Taxnomy (id 16)
    • Alle andre service aftagere skal se bort fra  EU ESCO status (EUESCOStatusType), da attributten alene anvendes internt ti STAR

CreateOccupation (POST /v2/EscoStar/occupations)

Forretningsregler (nye og ændret)

  • Ved oprettelse af ny stillingsbetegnelse sættes EU ESCO status (EUESCOStatusType) default til "Opdateret i forhold til EU ESCO" (Id 1)

UpdateOccupation (PUT /v2/EscoStar/occupations)

Forretningsregler (nye og ændret)

  • Ved opdatering af stillingsbetegnelse er det muligt at sætte EU ESCO status (EUESCOStatusType) til "Opdateret i forhold til EU ESCO" (Id 1), hvis den er forskellig fra "Opdateret i forhold til EU ESCO" (Id 1). Dette gøres, når den nye eller nye revision er klar til at blive offentliggjort til serviceaftagerne. 
  • Hvis EU ESCO status (EUESCOStatusType) er forskellig fra "Opdateret i forhold til EU ESCO" (Id 1) på en stillingsbetegnelse og der rettes
    • i dansk titel (preferredLabelDa),
    • gyldig fra (validFrom),
    • Gyldig til (validTo)
    • dansk beskrivelse (descriptionDa),
    • status (escoStatus)

skal EU ESCO status (EUESCOStatusType) sættes til "Opdateret i forhold til EU ESCO" (Id 1) for at sikre, at serviceaftagere kan se de opdateret data og får besked om ændringen (WSRM) 

CreateAlias (POST /v1/EscoStar/occupations/alias)

Forretningsregler (nye og ændret)

  • Ved oprettelse af nyt alias sættes EU ESCO status (EUESCOStatusType) default til "Opdateret i forhold til EU ESCO" (Id 1)

UpdateAlias (PUT /v1/EscoStar/occupations/alias)

Forretningsregler (nye og ændret)

  • Hvis EU ESCO status (EUESCOStatusType) er forskellig fra "Opdateret i forhold til EU ESCO" (Id 1) på et alias og der rettes
    • i dansk titel (alternativeLabelDa),
    • status (escoStatus)

skal EU ESCO status (EUESCOStatusType) sættes til "Opdateret i forhold til EU ESCO" (Id 1) for at sikre de service aftagere kan se de opdateret data og for besked om ændring (WSRM)


Taxonomy.EuEscoStatusCodeList

Ny kodeliste til at angive behandlingsstatus i forhold til nye ESCO version af data fra EU.

Identifikator
Navn
Beskrivelse
Startdato
Slutdato
1Opdateret i forhold til EU ESCOIngen udenstående i forhold til EU ESCO 01-05-202201-07-2100
2Ny fra EU ESCONy stillingsbetegnelse eller alias fra EU ESCO der ikke er behandlet i STAR01-05-202201-07-2100
3Ændring fra EU ESCOÆndring til stillingsbetegnelse eller alias fra EU ESCO der ikke er behandlet i STAR01-01-200001-07-2100
4Inaktivering fra EU ESCOStillingsbetegnelse eller alias er gjort inaktivt fra EU ESCO men dette er ikke er behandlet i STAR01-05-202201-07-2100

Det skal findes både overbliks- og detaljevisning i Taxonomy Admin. Dette løses i:  JOB-6703 - Getting issue details... STATUS

Acc.kr. 976.28.4 - Som STAR / VOA vil jeg have at jeg initierer et hente fra EU 

Løsningsmodel

Den løsningsmodel er den pt konsulideret ud fra valgt MVP, men der er variationer over temaet og automatiseringer der evt. senere kan udvides med.

  • Nye  ESCO stillingsbetegnelser kommer via EU ESCO webservice snitflade
    Dette initieres fra VOA til BI (f.eks. via en Fogbugzsag). VOA skal selv her styre, hvornår det skal ske i forhold til, hvad EU har releaset
  • BI's loadproces startes og der henter de nyeste EU data (det fra 976.28.1)
  • BI's loadkomponent, der ligger data ind i ESCO STAR, køres (det fra 976.28.2)
  • VOA danner en "actionliste" ud fra deltaliste fra EU. Listen er intern for VOA.
  • ESCO data ligger klar til VOA og det videre arbejde kan ske i Admin tool
  • Hvis relevant kan VOA lave en ændringslog oversigt til eksterne i Admin tool og sender f.eks. via FB 
    Bemærk alle ændringer der påvirker ESCO STAR sender der WSRM på til de eksterne serviceaftagere

Acc.kr. 976.28.5 Som STAR / VOA vil jeg have loadet alle EU alias men sat dem inaktiv i forhold til ESCO STAR

Løsningsmodel

  1. Alle EU ESCO alias loades ind i ESCO STAR som inaktive
    1. Hvis et alias allerede eksisterer, indsættes kun EU navn

Særlige krav til test

Test scenarieBerørte systemområder (herunder nye batchjobs*) Identificeret af
Load af data og ændringslisterDer kommer ændringslister 1 og 2 og de afspejler de faktiske ændringerCarsten Olsen
Data fra EU er loadet i ESCO STAR men ikke behandler (load er kørt)

Her skal:

  1. Data kunne ses i admin toolet med flag
  2. Data må ikke på snitflade
Carsten Olsen
Data fra EU iet loadet  ESCO STAR men og behandler (VOA har behandler)

Her skal:

  1. Data kunne ses i admin toolet men med flag fjernet
  2. Data er på snitflade
  3. Der er sendt WSRM (kun hvis ændring)
Carsten Olsen

* Batchjobs

  • bør testes både med delta og fuldt load,
  • bør hvis der er afhængigheder køres med normalt load fra BI i ét testmiljø i hele testperioden
  • bør testes i samarbejde med teams som har afhængigheder
  • kørselstid, særligt hvis det er en del af NightlyBatch


Konsekvenser for drift/idriftsættelse

I forbindelse med idriftsættelse:

  • Skal der køres et fuldt dataload ved første kørsel af et batchjob - aftal med SF hvornår load skal køres:  
  • Skal der køres konvertering:  
  • Skal der køres databasescripts for opdatering af tabeller i databasen:  

Efter idriftsættelse:


Arkitektur- og implementeringsnoter 

Her beskriver PO/FA om arkitekturen og teknikken bag løsningen, om der f.eks. anvendes:

  • Nye dataområder: Nej
  • Nye snitflader:  Nej
  • Nye komponenter: Nej 
  • Nye miljøer:  Nej
  • Nye teknologier: Nej 
  • Nye aftagertyper:  Nej
  • Eller afvigelser fra principperne:  Nej
  • Eventuelle behov for reduktion af teknisk gæld skal afdækkes: Ikke relevant 


Der gives en beskrivelse af hvorledes disse tænkes håndteret/implementeret i løsningen og om dette har været vendt med STAR arkitekten.

Husk GDPR stillingtagen

Ingen personfølsomme data i epics

Opbevaring af oplysninger i STARs it-systemer

Ikke relevant, Taxonomidata

Hvem må tilgå oplysningerne?

Afsnittet må ikke blot slettes, hvis det vurderes ikke relevant. Det skal dokumenteres at man har forhold sig til nedenstående.

Husk det er hensynet til borgeren der tæller højst. Der skal være hjemmel til at sagsbehandler må tilgå oplysninger. Formålet skal være som led i administrationen af beskæftigelsesreglerne eller ydelsesadministration.  

Korrekte sikkerhedsattributter på services

N/A


A-kasse filtrering

N/A

Sagsbehandlerlogin på Jobnet - tag stilling til adgang!

N/A