Beskrivelse af epic af it-understøttelse af Styrelsen for Arbejdsmarked og Rekrutterings forretning
| Jira Legacy | ||||||||
|---|---|---|---|---|---|---|---|---|
|
Indholdsfortegnelse
| Table of Contents | ||
|---|---|---|
|
Afgrænsning af epic
Som DFDG vil jeg have konsolideret koden til koordinatudsøgning
for at det bliver nemmere at vedligeholde
Ingen snitfladeændringer
Oversigt over berørte webservices
GeoService (Version 1)
- GeocodeStructuredAddress
GeocodeSimpleAddress
| Jira Legacy | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
|
Beskrivelse af epic
STAR benytter sig af Google Maps Platform til blandt andet, beregning af koordinat udsøgning når opslag via Danmarks Adressers Web API (DAWA) ikke giver noget resultat.
Disse koordinater bliver blandt andet benyttet til rejsetidsberegning omtalt i epic 924.2 - Joblog rejsetid - skift fra Google til rejseplanen
Eksisterende prisudregnings model hos google inkluderer at de første 100.000 kald per dag er gratis.
Google har varslet ændringer ved denne prisudregnings model: Google har valgt at de i stedet for de 100.000 gratis kald per dag at gå over til at abonnementerne får 200$ gratis credits om måneden som svarer til ~ 40.000 gratis kald.
Til eksempel benyttede STAR i oktober måned 2018 sig af koordinat udsøgning 933.328 gange.
Se evt. /wiki/spaces/ISB/pages/999620621, hvor statistikkerne ligger, hvor man kan se, hvor mange kald per dag der er til google maps services.
Nedenfor kan den eksisterende prisudregning ses:
https://developers.google.com/maps/premium/usage-limits
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
Maximum of 23 waypoints per request. 50** requests per second.
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
Maximum of 512 points per request. 50** requests per second.
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
50** requests per second.
Shared* daily free quota of 100,000 elements per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
Up to 625 elements per request (with a maximum of 25 origins and 25 destinations per request). Rate limit of 1,000 elements per second.
Note: requests using the optional parameter departure_time when mode=driving are limited to 100 elements per request.
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
50** requests per second.
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
50** requests per second.
Shared* daily free quota of 100,000 requests per 24 hours; additional requests applied against the annual purchase of Maps APIs Credits.
50** requests per second. Each request may contain up to 100 points.
* The 100,000 daily free requests are shared across all Maps JavaScript API client-side services and Google Maps APIs web services—all requests are subtracted from the same pool of 100,000 free daily requests.
Any additional requests are applied against the total number of Maps APIs Credits you purchased for your Premium Plan.
Your free daily request pool is reset at 12:00 am Pacific Time. Note that the 100,000 daily free requests do not apply to Location Services licenses.
** Default rate limit, to prevent abuse. Learn how to optimize web service usage or request a rate limit (QPS) increase.
STAR har med deres nuværende abonnement 33.000.000 Credits om året.
Web service APIs (server-side) request: Geocoding API, Directions API,
Distance Matrix API (per element), Elevation API, Geolocation API, Time Zone API, Roads API
Nedenfor kan den nye prisudregning ses:
https://cloud.google.com/maps-platform/pricing/sheet/
EQUIVALENT FREE USAGE
(PRICE PER THOUSAND)
CONTACT SALES
for volume discounts.
Eksisterende implementering
Det estimerede antal kald per. måned til koordinat udsøgning er 800.000 - 1.600.000 fordelt jævnt ud over måneden via enkelt forespørgsler.
Koordinat udsøgningen bliver brugt til blandt andet rejsetidsberegning, Ankiro jobopslag mm.
DFDG udstiller via GeoService to metoder til koordinat udsøgning vha. adresse:
Servicemetoderne er udelukkende tiltænkt STARs egne applikationer, grundet licensomkostninger.
- På baggrund af en struktureret adresse eller ustruktureret adresse forsøges først opslag i DAWA, hvis intet resultat, forsættes der vha. googlemaps api og koordinater returneres med en kodeliste værdi for, hvor præcise disse koordinater er, GeoCoordinateQualityTypeIdentifier
- Eksakt match returneres, hvis resultat fra DAWA returneres.
- Hvis adresse struktur ikke kan bestemmes, benyttes postnummer udsøgning via googlemaps api.
- Hvis postnummer er imellem 3900 og 3999, hvor begge tal er inkluderet udregnes koordinat udsøgning for Grønland og post nummer 3900 benyttes (Nuuk) via googlemaps api.
- Om natten er der et batchjob som forsøger at populere joblogs med koordinater og rejsetidsberegning, hvor der forsøges op til 5 gange.
| Drawio | ||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Rejseplanen
Rejseplanen A/S har et åbent ReST-API med webservices, hvor adgang til disse data er under Creative Commons BY-ND 3.0 licens.
Dokumentation af dette API kan findes her:
/wiki/spaces/ISB/pages/1001521168
Der er tilbage i marts 2017 været kontakt til Rejseplanen med henblik på at få afdækket om deres åbne ReST-API var en mulighed, der var dog ikke behov for videre kontakt, da STARs eksisterende abonnement med googlemaps kunne håndtere den ekstra mængde kald.
Der har igen i november 2018 været kontakt med Rejseplanen i forbindelse med epic 924.2 - Joblog rejsetid - skift fra Google til rejseplanen,
Personer der er kontakt til hos Rejseplanen
Jens Willars- Business Manager
Jørgen Sinding - Projektleder
924.2.1 Analyse af koordinat udsøgnings brug af googlemaps og alternativer Rejseplanen / DAWA
Rejseplanen analyse
| Note |
|---|
Vi er blevet gjort opmærksom på fra Rejseplanen at det er DAWA der ligger til grund for deres Lokation service, hvorved en udskiftning fra googlemaps api til Rejseplanen ikke vil være en løsning i forbindelse med adresse udsøgning, da vi i eksisterende implementering allerede fortager koordinat udsøgning hos DAWA og at kald til googlemaps api bliver benyttet som en backup løsning, hvis vi ikke får noget resultat fra DAWA. |
Undersøgen går på om Rejseplanen udstiller en webservice som dækker det behov googlemaps i øjeblikket dækker i forbindelse med beregning af rejsetid i forbindelse med registrering af Joblog.
Ud fra Rejseplanens dokumentation udvælges webservice der kan benyttes til beregningen.
Dokumentation på Rejseplanens API
/wiki/spaces/ISB/pages/1001521168
Det er i forbindelse med analysen vurderet at det er rejseplanens Location service der indeholder den fornødende information til at fortage udsøgningen af koordinater.
| Note |
|---|
I det i forbindelse med kode analyse blev det identificeret at rejseplanen benytter sig af 8 tal til indikation af koordinat i modsætning til googlemaps som har op til 9 og DAWA som har op til 10. |
Eksempel på servicekald:
Nedenstående vises et eksempel på location service response:
| Info | ||
|---|---|---|
| ||
"Location": { "LocationList": { "noNamespaceSchemaLocation":"http://xmlopen.rejseplanen.dk/xml/rest/hafasRestLocation.xsd", "CoordLocation": { "name":"Nørgaardsvej 32, 2800 Kongens Lyngby, Lyngby-Taarbæk K", "x":"12512670", "y":"55770192", "type":"ADR" } } } |
DAWA analyse
I analysen viste det sig at DAWA også har en implementering af koordinat udsøgning på postnummer, hvor vi idag benytter os af googlemaps api til udsøgning.
Eksempel på DAWA postnummer servicekald:
https://dawa.aws.dk/postnumre/2800
Nedenstående vises et eksempel på postnumre service response:
| Info | ||
|---|---|---|
| ||
{
"href": "https://dawa.aws.dk/postnumre/2800",
"nr": "2800",
"navn": "Kongens Lyngby",
"stormodtageradresser": null,
"bbox": [
12.41145743,
55.74830002,
12.58343013,
55.81431067
],
"visueltcenter": [
12.52083673,
55.78572204
],
"kommuner": [
{
"href": "https://dawa.aws.dk/kommuner/0157",
"kode": "0157",
"navn": "Gentofte"
},
{
"href": "https://dawa.aws.dk/kommuner/0159",
"kode": "0159",
"navn": "Gladsaxe"
},
{
"href": "https://dawa.aws.dk/kommuner/0173",
"kode": "0173",
"navn": "Lyngby-Taarbæk"
},
{
"href": "https://dawa.aws.dk/kommuner/0230",
"kode": "0230",
"navn": "Rudersdal"
}
]
} |
924.3.2 Implementér yderligere kald til DAWA
| Note |
|---|
I forbindelse med udvikling er det identificeret at der ved kald af DAWA på baggrund af postnumre som ikke er danske ikke vil returneres et koordinatsæt. Bemærkning går på at der ved disabling a GoogleMaps api ikke vil være mulighed for at udsøge koordinatsæt på udenlandske adresser. |
Beskrivelse
Den løsningsmodel der er tiltænkt at blive implementeret i release 2019-2 er følgende:
| Drawio | ||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Ved Koordinatudsøgning undersøges det om:
- Adresse og postnummer er OK
- Hvis OK, søges der efter koordinater på baggrund af adresse imod DAWA og koordinater returneres, hvis de kan udsøges.
- Hvis intet resultat fundet hos DAWA, og adresse er udfyldt undersøges det om GoogleMaps er slået til
- Hvis GoogleMaps er slået til fortages der koordinatudsøgning hos GoogleMaps på baggrund af adresse og koordinater returneres, hvis de kan udsøges.
- Hvis GoogleMaps er slået fra eller intet resultat hos GoogleMaps
- Eller adresse ikke er udfyldt
- Fortages der koordinatudsøgning hos DAWA på baggrund af postnummer og koordinater returneres, hvis de kan udsøges.
- Hvis intet resultat hos DAWA og postnummer er fra 3900 - 3999 returneres koordinatsæt for Grønland postnummer 3900.
- Hvis intet resultat hos DAWA og postnummer ikke er fra 3900 - 3999
- Returneres tom koordinat udsøgning (som i dag)
Implementering DAWA
DAWA postnumre request
Eks. url: https://dawa.aws.dk/postnumre/2800
postnummer i DK
DAWA postnumre Response
Nedenstående vises et eksempel på postnumre service response:
| Info | ||
|---|---|---|
| ||
{ |
Response
Beskrivelse af epic af it-understøttelse af Styrelsen for Arbejdsmarked og Rekrutterings forretning
| Page Properties | ||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
| Note |
|---|
Denne epic vil releasemæssigt kunne blive påvirket af folketingsvalg afhængig af tidspunktet for valget.
Se afsnit Konsekvenser i forhold til folketingsvalg for nærmere beskrivelse. |
Indholdsfortegnelse
| Table of Contents | ||
|---|---|---|
|
Afgrænsning af epic
| Afgræsning | ||
|---|---|---|
Som DFDG vil jeg have konsolideret koden til koordinatudsøgning for at det bliver nemmere at vedligeholde. Som STAR ønsker jeg at der bliver taget stilling til manuscriptsager på området der omhandler GeoService, for at nedbringe kendte fejl på området. Som STAR vil jeg have opdateret rettighederne til, hvem der må kalde GeoService for at der ikke kommer kald til servicen fra systemer der ikke må kalde den. | ||
| Acceptkriterier | ||
| Nr. | Beskrivelse | Relevant for |
| 924.4.1 | Refactorering af koordinatudsøgningen imod DAWA, og Google | DFDG |
| 924.4.2 | Der bliver taget stilling til manuscript sager der omhandler GeoService | DFDG, Jobnet |
| 924.4.3 | GeoService sikkerhed bliver opdateret for at undgå at systemer der ikke må kalde servicen kalder servicen | DFDG |
| Kriterier for tilsagn til serviceaftager i forhold til STARs snitflader | Berørte acceptkriterier | Bemærkninger | |||
|---|---|---|---|---|---|
| 924.4.1 | 924.4.2 | 924.4.3 | |||
| A-kasser og JC skal være bekendte med, at STARs udføre ændringer på dette område | x | Ingen snitfladeændringer. Eksterne må som hidtil ikke kalde GeoService. | |||
| Der vil blive løst manuscript sager i forbindelse med at der bliver refactoreret på området. | x | Manuscript: | |||
| GeoService sikkerhed bliver opdateret for at undgå at systemer der ikke må kalde servicen kalder servicen. | x | Sikkerhed på service metoder bliver opdateret så A-kasser ikke længere (rent teknisk) kan kalde servicen. Under forretnings beskrivelse til service er det (som hidtil) nævnt at det udelukkende er STARs interne systemer der må kalde denne service. | |||
Oversigt over berørte webservices
Manuel oversigt som er synlig for eksterne (links i listen virker kun med STAR Jira konto)
| Summary | Varslingstype | Varslingsnote | Eksterne Snitflader | Interne Snitflader | Project | Description |
|---|---|---|---|---|---|---|
| GeoService (Version 1).Alle metoder | Ændret | Teknisk ændring af, hvem der må kalde servicen, til at det udelukkende er STAR. | A-kasse(t.o.) | D+S | Da det ikke på noget tidspunkt har været meningen at andre end STAR har måttet kalde denne service da den har økonomiske omkostninger forbundet med sig, fjernes A-Kasser fra at kunne kalde servicen. | |
| GeoService (version 1).CalculateDailyTravelTime | Ændret | Feltet DailyTravelTime gøres optionel i retursvaret. | JobAG(t.o) Jobnet(t.o) | D+S | ||
| GeoService (version 1).GeocodeStructuredAddress og GeocodeSimpleAddress | Ændret | Vil fremadrettet returnere fejlkode 9262 (Geocoding was not possible) Hvis der ikke bliver oplyst noget postnummer. Dette vil have afledt effekt af at der på Joblog af typen jobsøgning ikke bliver beregnet rejsetid, hvis postnummer ikke er oplyst. | JobAG(t.o) Jobnet(t.o) | D+S |
Automatisk dannet ud fra Jira
Denne oversigt kan ikke ses af KSS og a-kasser - og er derfor kopieret manuelt til tabel ovenfor.
| Jira Legacy | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
|
Det skal besluttes om følgende Manuscriptsager skal kigges på i forbindelse med denne epic,Beskrivelse af epic
- 131295 DailyTravelTime obligatorisk i GeoService V1 CalculateDailyTravelTime
- 130317 Joblog: Der oprettes forkert geokode for annoncer med område i stedet for postnr/by
Acc.kr 924.4.2 Manuscript 131295 Elementet DailyTravelTime er [Required] i GeoService V1 CalculateDailyTravelTime
Servicemetoden GeoService(version 1).CalculateDailyTravelTime ændres på eksisterende version, til at DailyTravelTime ikke længere er required.
Acc.kr 924.4.2 Manuscript 130317 Joblog: Der oprettes forkert geokode for annoncer med område i stedet for postnr/by
Servicemetoderne GeoService(version 1).GeocodeStructuredAddress og GeoService(version 1).GeocodeSimpleAddress vil fremadrettet returnere fejlkode 9262 (Geocoding was not possible)
Hvis der ikke bliver oplyst noget postnummer.
| Fejlkode | Fejltekst | Beskrivelse |
|---|---|---|
| 9262 | Geocoding was not possible | Geocoding was not possible |
Acc.kr 924.4.3 GeoService sikkerhed bliver opdateret for at undgå at systemer der ikke må kalde servicen kalder servicen
A-kasse fjernes fra sikkerhedsatributter så A-kasser ikke længere har mulighed for at kalde servicen.
Se GeoService (Version 1, 2019-2)
Overvej for hvert acceptkriterie hvilke systemer der berøres af ændringen:
- DFDG
- Services
- WSRMer
- Kodelister
- PersonStatusService (PSS)
- PersonHistoryService (PHS)
- LSS (Landssupportsystem) og herunder Registerudtræk (hvis STAR har dataejerskab og der er lavet PHS på domænet)
- Jobnet
- VITAS
- JobKon
- JobAG
- BI integrationsplatform
- Alle områder
- Nye batchjobs
- Dokumentation af jobbet til SF (jf. skabelon: xxx link til skabelon)
- Dataløft
- Hvis der i Databaser tilføjes eller fjernes kolonner med personfølsomme data (f.eks. person navne, adresser, email, telefonumre etc.), så skal SF informeres så disse data fremadrettet tilføjes eller fjernes fra scrambling.
- Nye batchjobs
- Kommunalt sagsbehandlingssystem
- A-kasse sagsbehandlingssystem
- Kommunalt bookingsystem
- JobcenterPlanner (JCP)
- WorkForcePlanner (WFP)
- Kommunalt ydelsessystem
Særlige krav til test
| Test scenarie | Berørte systemområder (herunder nye batchjobs*) | Identificeret af |
|---|---|---|
* Batchjobs
- bør testes både med delta og fuldt load,
- bør hvis der er afhængigheder køres med normalt load fra BI i ét testmiljø i hele testperioden
- bør testes i samarbejde med teams som har afhængigheder
- kørselstid, særligt hvis det er en del af NightlyBatch
Konsekvenser for drift/idriftsættelse
NB. Serviceaftagere skal være opmærksom på at der på GeoService (Version 1)
- GeocodeStructuredAddress
- GeocodeSimpleAddress
Konsekvenser for drift/idriftsættelse
I forbindelse med idriftsættelse:
- Skal der køres et fuldt dataload ved første kørsel af et batchjob - aftal med SF hvornår load skal køres
- skal der køres konvertering
- Skal der køres databasescripts for opdatering af tabeller i databasen
Efter idriftsættelse:
Arkitektur- og implementeringsnoter
Her beskriver PO/FA om arkitekturen og teknikken bag løsningen, om der f.eks. anvendes:
- Nye dataområder
- Nye snitflader
- Omlægning af eksisterende googlemaps api/DAWA implementering i forhold til koordinatudsøgning på baggrund af adresser/postnummer.
- Nye komponenter
- Nye miljøer
- Nye teknologier
- Nye aftagertyper
- Eller afvigelser fra principperne
Efter idriftsættelse:
Arkitektur- og implementeringsnoter
Her beskriver PO/FA om arkitekturen og teknikken bag løsningen, om der f.eks. anvendes:
- Nye dataområder
- Nye snitflader
- Nye komponenter
- Nye miljøer
- Nye teknologier
- Nye aftagertyper
- Eller afvigelser fra principperne
Der gives en beskrivelse af hvorledes disse tænkes håndteret/implementeret i løsningen og om dette har været vendt med STAR arkitekten.
Konsekvenser i forhold til folketingsvalg
Konkrete konsekvenser og handlinger i regi af denne epic for at sikre at evt. ændringer pga. forketingsvalg i forhold til den forventede release i 2019-2 kan håndteres af alle interessenter.
Herunder:
- Model i STAR
- Da indhold af denne epic ikke er nødsaget at blive released i release 2019-2 vil tilrettelser udført i denne epic blive released sammen med resten af LAB epics.
- Konsekvenser for eksterne specielt KSS og a-kasse og deres tilsagn