976.12 Ankiro crawling

Beskrivelse af epic af it-understøttelse af Styrelsen for Arbejdsmarked og Rekrutterings forretning


STAR Projektleder (PL)Forretningsanalytiker (FA)STAR ReleaseEpic statusEksterne snitflader
Thor Herlev Jørgensen (STAR)

Bjarne Hansen (Edora)

Carsten Olsen

Kenneth Ingemann Larsen (KEIL) (Unlicensed)

2021-21.0Ankiro




Interne links (indhold ikke relevant for eksterne)

key po fa ux sme eksterne snitflader interne snitflader status labels
Loading...
Refresh

JOB-2152 - Getting issue details... STATUS


Indholdsfortegnelse




Afgrænsning af epic

Afgrænsning

Som en Ankiro

vil jeg crawle ikke-Jobnet jobannoncer (eksterne jobannoncer) med ESCO-STAR stillingsbetegnelser i stedet for DISCOAMS stillingsbetegnelser

for at ikke-Jobnet jobannoncer kan fremsøges med ESCO-STAR stillingsbetegnelser

Acceptkriterier

Nr.BeskrivelseRelevant for
976.12.1Ankiro crawler med ESCO-STAR stillingsbetegnelserAnkiro, Jobnet
976.12.2EscoSTAR stillinger skal mappes til det gamle DiscoHierakiJobnet, BI



Kriterier for tilsagn til serviceaftager i forhold til STARs snitfladerBerørte acceptkriterierBemærkninger

Acceptkriterie <nr.>Acceptkriterie <nr.>Acceptkriterie <nr.>Acceptkriterie <nr.>



















Oversigt over berørte webservices 

Manuel oversigt som er synlig for eksterne

Summary

Varslingstype

Varslingsnote

Eksterne Snitflader

Interne Snitflader

Project

N/AN/AN/AN/AN/AN/A

Webservicen der her er aktuel er https://stage-jobnet-star.ankiro.dk/2.0/JobLeveranceService, den nye snitflade fra Ankiro, der udstiller eksterne jobopslag med EscoStarkoder til Jobnet. 

Beskrivelse af epic

Jobnet aftager eksterne, dvs. crawlede, jobopslag på en snitflade som virksomheden Ankiro udstiller. Snitfladen kaldes via et batchjob 2 gange dagligt, hvor STARs søgemaskine populeres med disse jobopslag. Søgemaskinen er Anikrosuiten, drevet on premise, hos KMD. STAR har derfor adgang til at konfigurere denne og konfiguration er nødvendig, når søgemaskinen skal kunne modtage og udstille eksterne jobopslag med EscoSTAR koder.

Jobnet aftager i forvejen en leverance med jobopslag fra Ankiro, hvor jobopslag er funderet på Disoams08 koder. Som led i EscoSTAR projektet, skal Ankiro for eftertiden levere opslag på stort set samme snitflade, hvor jobopslagene bare er funderet på EscoSTAR. I en periode er det aftalt, at Ankiro udstiller begge leverancer, således at Jobnet kan foretage et løbende skifte, da Jobnet i vid udstrækning er funderet på Discoamsværdier og koblinger til Ankirosuiten (via Automatch, Dashboard og Find Job). Jobnet kører altså i udviklingsperioden på både den discoams- og den EscoStar funderede suite, mens de enkelte funktionsområder - i særskilte epics - rettes til at kigge på EscoStar udgaven. 

Derefter fases den DiscoAms funderede Ankiro suite ud.

976.12.1 Ankiro crawler med ESCO-STAR stillingsbetegnelser


Endpointet på den nye service fra Ankiro, det ligner til forveksling det gamle, som kunne kaldes på https://jobnet-star.ankiro.dk/1.0/JobLeveranceService. Det nye endpoint kaldes blot på https://jobnet-star.ankiro.dk/2.0/JobLeveranceService. Under udviklingen udstilles version 2.0 også på et stagingmiljø: Https://stage-jobnet-star.ankiro.dk/2.0/JobLeveranceService.

I dag modtages disoamskoder via feltet OccupationID, der på version 1 af servicen har datatypen integer.

På version 2.0 af servicen modtages i selvsamme felt, altså OccuptaionID, en EscoStar kode. Da EscoStar koden, dvs. ConceptUriDa, er en URI skifter feltet i version 2 datatype til streng. 

I userstory /wiki/spaces/ISB/pages/2372370492, tilrettes jobnets batchjob således, at det også henter stillingsopslag fra den EscoSTAR funderede snitflade og populerer disse i Ankiro Suiten. Inden da, skal Suiten dog udvides, så den kan modtage de nye EscoSTAR værdier. Udvidelsen af AnkiroSuiten med EsoSTAR-felter sker i /wiki/spaces/ISB/pages/2372435974.


976.12.2 EscoSTAR stillinger skal mappes til det gamle DiscoHieraki

Via en foretaget brugerundersøgelse er det vist, at omtrent 50% af borgerne der benytter Find Job, gør aktivt brug af filtreringsmuligheden Arbejdsområde, som viser stillinger grupperet under Arbejdsområde og Arbejdsgrupper. De øvrige 50% bruger fritekstsøgning til at lokalisere relevante stillingsopslag. Undersøgelsen viste også en lille præference for at bevare det eksisterende hieraki, frem for at implementere det fulde Isco hieraki. At koble de EscoSTAR stillingbetegnelserne til det eksisterende hieraki er i tillæg til at være det af brugerne foretrukne, også det billigste. 

Flere modeller for mapping har været overvejet, men den model som forretningen har valgt er modellen, hvor enhver EscoSTAR stillingsbetegnelse mappes til en OccupationGroup. Modellen byder på den udfordring, at nyoprettede stillingsbetegnelser (dvs. stillignsbetegnelser der kommer fra EU eller oprettes direkte i administrationsmodulet) ikke automatisk mappes. Tilføjelser og ændringer til mapping er en manuel proces, der skal ske ved SQLscripting i produktion. 

De data der mappes og gås i produktion med i 2021-2 er de mappinger, som forretningen overdrager til BI.

Mappingtabel har kun betydning i relation til Find Job og skal betragtes som en pragmatisk løsning på et kompliceret problem. Dels fordi det grundigt bør afklares hvordan et nyt hieraki bedst kan anvendes til at give brugerne værdi. Men også fordi teknologien Find Job er udviklet i, er AngularJS, som STAR ikke bør udvikle nye komponenter i, da AngularJS reelt ikke fornys men kun livtidsforlænges. 

Jobnets oprettelse af mappingtabeller og berigelse af Ankirosuite med OccupationArea og OccupationGroup sker via:  JOB-2735 - Getting issue details... STATUS


Foreløbig oversigt over services

ServiceVersionMetodeElementBeskrivelseBemærkning






Detaljeret interne service


Overvej for hvert acceptkriterie hvilke systemer der berøres af ændringen:

  • DFDG
    • Services
    • WSRMer
    • Kodelister
    • PersonStatusService (PSS)
    • PersonHistoryService (PHS)
    • LSS (Landssupportsystem) og herunder Registerudtræk (hvis STAR har dataejerskab og der er lavet PHS på domænet)
  • Jobnet
  • VITAS
  • JobKon
  • JobAG
  • BI integrationsplatform
  • Alle områder
    • Nye batchjobs
      • Dokumentation af jobbet til SF (jf. skabelon: xxx link til skabelon) 
    • Dataløft
      • Hvis der i Databaser tilføjes eller fjernes kolonner med personfølsomme data (f.eks. person navne, adresser, email, telefonumre etc.), så skal SF informeres så disse data fremadrettet tilføjes eller fjernes fra scrambling.
  • Kommunalt sagsbehandlingssystem
  • A-kasse sagsbehandlingssystem
  • Kommunalt bookingsystem
    • JobcenterPlanner (JCP)
    • WorkForcePlanner (WFP)
  • Kommunalt ydelsessystem

Særlige krav til test

Test scenarieBerørte systemområder (herunder nye batchjobs*) Identificeret af






* Batchjobs

  • bør testes både med delta og fuldt load,
  • bør hvis der er afhængigheder køres med normalt load fra BI i ét testmiljø i hele testperioden
  • bør testes i samarbejde med teams som har afhængigheder
  • kørselstid, særligt hvis det er en del af NightlyBatch


Konsekvenser for drift/idriftsættelse

I forbindelse med idriftsættelse:

  • Skal der køres et fuldt dataload ved første kørsel af et batchjob - aftal med SF hvornår load skal køres
  • skal der køres konvertering
  • Skal der køres databasescripts for opdatering af tabeller i databasen

Efter idriftsættelse:


Arkitektur- og implementeringsnoter 

Her beskriver PO/FA om arkitekturen og teknikken bag løsningen, om der f.eks. anvendes:

  • Nye dataområder
  • Nye snitflader
  • Nye komponenter
  • Nye miljøer
  • Nye teknologier
  • Nye aftagertyper
  • Eller afvigelser fra principperne
  • Eventuelle behov for reduktion af teknisk gæld skal afdækkes


Der gives en beskrivelse af hvorledes disse tænkes håndteret/implementeret i løsningen og om dette har været vendt med STAR arkitekten.