Dokumentet beskriver implementeringen af Ankiro på jobnet herunder udvikler tips og tricks. 

Teknisk dokumentation

Ankiro er et 3. parts produkt til indeksering og søgning af dokumenter. Det ny Ankiro setup indeholder 3 webservices for indeksering, oprettelse og søgning af documenter. Fra 2020-2 release kun det ny Ankiro Services bliver brugt i Jobnet. 

Se dokumentation fra Ankiro selv her: https://docs.ankiro.dk/display/AES/Ankiro+Enterprise+Suite

Fordele med ny Ankiro

• Tidligere version af Ankiro er kørt via dll'er. Det betyder at hver gang der kommer opdatering skal alle projekter som har reference til Ankiro opdateres med de ny dll'er. Nu sker Ankiro opdatering kun en central sted i koden.
• Med den ny Ankiro opdatering, Ankiro er delt op til tre nye services. Det betyder at kun nødvendig tilsvarende service bliver opdateret.
• Der er ikke længere behov for FindJobService (intern service). Derfor er lag mellem UI og Ankiro er fjernet. Det betyder, at der er markant mindre mappning mellem UI og Ankiro og en mindre kald til Ankiro.
• Koden er blevet meget mere simpel og forståligt.
• Udviklingstid til næste ændring til Ankiro Dokumenter bliver mindre og nemt.

1.Ankiro  ManagementService

Ankiro Management Service har ansvar for oprettelse ,opdatering og sletning af DataSources og Indekser. 

Datasource er et schema for et dokument. 

fx. her ses hvordan man kan definere et schema for datasource og resultater i Ankiro Dashboard

Kode til definition af schema

og resultat i Ankiro Dashboard

2. Ankiro Document Service

Ankiro Document Service har ansvar for oprettelse documents fx. Jobannounce eller Cv. Schema for Jobannounce eller Cv administreret af  Ankiro Managment Service. 

Når man opretter en Ankiro Document, skal datatype matches til schema.

3. Ankiro Search Service

Ankiro SeachWeb Service har ansvar for søgning ud fra angivet søgeindeks. Søgeindeks er administreret af Ankiro Management Service.

Hvordan søgning fortages er defineret i søgeprofil. Søgeprofil er en fysisk fil som ligger under BL.Batchjob.Ankiro projekt. Søgeprofil uploades til Ankiro via batchjob. 

Fig 1. oversigt over kald af Ankiro via BL.BatchJob.Ankiro.

Ankiro komponenter

Ankiro Enterprise Suite

Administrationsportal til produktet, hvor man kan se og konfigurere data sources, indexes og søgeprofiler.

Søgeprofiler

Under "Search Profiles" → "Search" er det endvidere muligt at teste søgeprofilerne. Visse funktioner er ikke tilgængelige fra administrationsportalen såsom radial søgning. Test af søgeprofil udføres ved at indsætte "*" uden anførselstegn i "Search For" og udfylde en eller flere søgekriterier. 

Fig 3. eksempel på fritekstsøgning på JobId:5083995

Fig 4. Søgeresultat vist i administrationsportalen

Bemærk man kan få vist "Show Diagnostics Xml" som giver gode indikationer på hvordan SearchServer har frembragt søgeresultatet, hvilket kan bruges til at fejlsøge på hvorfor et søgekriterie ikke er slået igennem.

Data Sources

Man kan hurtigt få et overblik over indlæste dokumenter på denne fane

Fig 5. Data sources

For jobannoncer er ID i ankiro jobannoncens ID hvorfor man hurtigt kan fremsøge en interessant jobannonce herfra.

Batchjobs

Hvert batchjob har ansvaret for at oprette datasource, indexes og søgeprofiler tilhørende deres funktionsområde.

BL.Batchjob.Ankiro

Batchjobbet står for indekseringen af interne og eksterne jobannoncer på både Jobnets og WIDKs instans af Find Job. De interne annoncer hentes fra AMS_PDB mens eksterne annoncer er af Ankiro crawlede annoncer og udstillet til Jobnet via en webservice. 

Interne jobs hentes fra AMS_PDB men batchjobbet kalder også Jobnet for at få en html rendering af annoncen, som ankiro så kan søge på.

Eksterne jobs for Jobnet hentes fra https://jobnet-star.ankiro.dk/2.0/JobLeveranceService og eksterne WIDK job hentes via https://widk-star.ankiro.dk/2.0/JobLeveranceService der er implementeret som en REST service.

Specifikationen af snitfladerne fra Ankiro er dokumenteret af Ankiro herunder. 

Bemærk dog: dette er specifikationene for V1 af snitfladen. Vi kalder V2 nu, hvor vi er overgået til EscoSTAR. Der er minimal forskel - det er blot en EscoSTAR kode (conceptUrilDA) der kommer i felttet Occupation, i stedet for en DiscoAms kode. Ankiro er dog rykket for ny snitfladebeskrivelse i https://manuscript.star.dk/f/cases/227542/Gr-nsefladebeskrivelse

 

Under udviklingsperioder, har STAR tilkøbt et staging miljø, som T-miljøerne har set på. Dette miljø er dog ikke permanent tilgængeligt og jf. aftale med Henrik Mee Løvgret fra Ankiro, har T-miljøerne lov til i daglig drift at hente fra produktionsinstansen. Servicen er ret enkel at teste med en restklient, herunder et screenshot af et kald med chrome postman extensionen:

I case https://manuscript.star.dk/f/cases/227056/Ankiro-endpoints-utilg-ngelige-i-PROD blev der besluttet at:

1. Default offset øges fra 10 til 200 
2. Der skrues ned for antal kald fra T-miljøerne og derfor hentes kun 2 første 400 annoncer( 2 kald af 200 annoncer)

Batchjobbet kan kaldes med følgende parametre:

• deploy
  Der testes om der allerede er oprettet datasources og indexes før disse oprettes. Ændringer til eksisterende håndteres med andre ord ikke med denne parameter. Derudover indlæses nye søgeprofiler hvis de ikke allerede findes eller er ændret. 
  Med 2017-1 US352 vil deploy håndtere create/update af datasource, index og søgeprofiler 
   
• full
  Søgeprofiler, indexes og datasources slettes før disse oprettes fra ny. 
   
• reload
  Reindekserer interne jobannoncer, såfremt applikationskonfigurationen  InternalIndexOnly ikke er sat til true, reindekseres eksterne annoncer også.
   
• reloadall
  Reindekserer interne og eksterne jobannoncer 

BL.Batchjob.Ankiro.Cv

Batchjobbet står for indekseringen af borgernes CV til udsøgning i JobAG, JobKon samt øvrige aftagere af JobSearch.CvSearchService. Borgernes CV hentes fra AMS_CV.

Batchjobbet kan kaldes med følgende parametre:

• deploy
  Der testes om der allerede er oprettet datasources og indexes før disse oprettes. Ændringer til eksisterende håndteres med andre ord ikke med denne parameter. Derudover indlæses nye søgeprofiler hvis de ikke allerede findes eller er ændret. 
  Med 2017-1 US352 vil deploy håndtere create/update af datasource, index og søgeprofiler
    
• full
  Søgeprofiler, indexes og datasources slettes før disse oprettes fra ny. Herefter reindekses alle CV
   
• reload
  Reindekserer alle CV.
   
• reloadall
  Reindekserer alle CV.

Søgeprofiler

Søgeprofiler i Ankiro definerer søgekriterier, udformingen af resultatsæt samt sorteringen af samme.

Strukturen er opbygget af et <ResultFormat> element, som definerer resultatsættet samt sorteringen i <SortField> elementer, samt et <Query> element. Query elementer kan nestes og med attributen Operation angives om de nestede elementer er additive eller exclusive i selekteringen.

Bemærk søgekriteriet <Criterion property='Ankiro.Position' weight='1.0' /> er specielt, da der i version 1.13.808.20972 af Ankiro er en bug, som gør kriteriet bliver skippet, hvis der i querien ikke er indeholdt et andet kriterie, der udsøger på en property som eksemplet nedenfor

<Criterion value="{OccupationFreeText}" interpretation="full-exact">
  <Property name="Title" weight="0.95" />
  <Property name="Presentation" weight="0.90" />
</Criterion>

Se eventuelt den vedhæftede email korrespondance med Ankirosupporten på denne fejl.

AutomatchJobnet

Søgeprofilen for automatch dokumenteret her er indført med 2016-3 releasen. Den bliver kaldt op til 3 gange med forskellige input for at kategorisere resultaterne i jobmatch, beslægtede og hotjobs (forretningsreglerne for udsøgning er dokumenteret under forretningsregler for automatch på dette site). Det var tænkt at kategorisere i de 3 grupper i en søgning, men det kan ikke lade sig gøre før Ankiro bliver opgraderet sammen med SQL Server platformen til 2012, hvor vi vil kunne udføre den radiale søgning som et kriterie der enten er opfyldt eller ej i modsætning til nu, hvor den radiale søgning påvirker vægtningen af resultatet.

I stedet kaldes søgeprofilen i 3 omgange hvis det forrige kald ikke fik fyldt en liste af 10 jobforslag

• Occupation, Flexjob=true hvis borger er flexjobber og geopunkt for at udsøge jobmatch 
• OccupationFreetext, Flexjob=true hvis borger er flexjobber og geopunkt for at udsøge beslægtede job. 
• HotjobSearch, (Flexjob=true og Occupation hvis borger er flexjobber), liste af jobannoncer der allerede er udsøgt samt geopunkt for borger for at udsøge hotjobs eller deltidsjob med matchende discoams kode

Ovenstående struktur er gentaget for indekset for interne jobannoncer og indekset for eksterne jobannoncer

Der er implementeret en række integrationstests i AnkiroTest.AutomatchTests, som vil kunne benyttes til at teste og afdække problemer

CVjobSearch

Søgeprofilen anvendes af JobSearch.CvSearchService til udsøgning af borger CV. Profilen er lavet med erfaringerne fra post 2016-3, hvorfor den indeholder både boundingbox (firkantet geo søgning) og radial kriterier, hvor der switches imellem de to funktionaliteter i komponenterne der kalder søgeprofilen for kun at have en søgeprofil at vedligeholde.

FindWorkJobnet

Søgeprofilen for det nuværende findjob.

FindWorkinDenmarkJobnet

Søgeprofilen for det nuværende WIDK instansen af Find Job.

Kendte udfordinger

Vores ankiro implementering har 3 kendte udfordringer.

Radial søgning

Med 2016-3 blev det konstateret at den nuværende implementerede radiale søgning ikke performer godt nok til produktion. Man kan via Remote Access konstatere at søgningerne tager 30-90 sekunder eller timer ud. I produktion ligger der ~12.000 jobannoncer og ~120.000 cv'er som er geospatialt indekseret, det er muligt at vi aldrig kan få den radiale søgning til at performe. Der kører en åben FB sag på det her https://fogbugz.amstest.dk/default.asp?92716#861017. Der er i mellemtiden implementeret en geospatial søgning med en algoritme, der udsøger i en firkant, hvilket kan indekseres og dermed udsøges med langt bedre performance.

Pr. 2023-2 er problemet med den radiale firkant delvist løst ved at dele søgningen op i to forskellige bounding boxes, der er strukket henholdvis breddegrads- og længdegradsmæssigt. Disse beregnes i GeoSearchUtility's funktioner GetLateralBoundingBox og GetLongitudinalBoundingBox. Hermed fjernes nogle, men ikke alle, resultater udenfor den påkrævede radius for søgning. Det er let at indse, at denne kan udbygges, hvis man ønsker endnu mindre overlap uden for cirklen med tre eller flere bounding boxes. Dette er lige nu kun implementeret på CV-søgning under FritekstSoegningMapper og, men samme model kan anvendes på søgning af jobannoncer, hvis STAR prioriterer det.

Løsningen ses illustreret her:

Ophobning af statistiske data (forsøges løst med 2017-1 US352)

Produktionsdatabasen for ankiro har rundet 75GB, hvoraf kun ~700MB er dokumentdata og indexes. Resten er statistik og loggede søgninger.  Der skulle efter sigende være slukket for maintenance jobs som rydder op i logninger, grundet påvirkning af ankiros performance, men det er ikke lykkedes at finde sagen eller lign. der dokumenterer dette. FB sag https://fogbugz.amstest.dk/default.asp?93184 dokumenterer et workaround og en forespørgsel hos Ankiro om deres bud på om der kunne være uhensigtsmæssige sideeffekter ved at afvikle scriptet. Fremadrettet skal vi have kigget på anbefalingerne her http://docs.ankiro.dk/display/AES/Search+logging i forhold til logninger mod ankiro, da vi helt sikkert logger for meget og iøvrigt pt. ikke kører med oprydning af dette.

Opdatering af datasources/indexes (forsøges løst med 2017-1 US352) 

Det er konstateret at afvikling af batchjobs med parameter deploy/update mod testmiljøer kan ende med at ankiro installationen på miljøet korrupteres og skal geninstalleres fra bunden. Kørsler med parameter full virker ofte ikke før workaround i FB 93184 nævnt ovenfor er afviklet, men selv her har vi ikke en 100% succesrate. 

Planlagte produktopdateringer (sker med 2017-1 US352)

Der findes en nyere version af Ankiro produktet, som kræver Sql Server 2012. Geolokationsudsøgningen som i vores nuværende version er en "custom" implementering af Ankiro vil istedet kunne anvende Sql Servers genereliserede implementering.

Det vil give os følgende muligheder:

1) Administrations portalen understøtter søgninger med geolokation baseret på sql server 2012 (nuværende kan ikke angive radial parameter)

2) Vi kan lave udsøgninger, hvor afstanden fra centrum ikke indgår i vægtningen af resultatet. Dette gav os problemer i forhold til at lave automatch i en søgeprofil, da hotjob nær centrum blev vægtet højere end jobmatch i kanten af den radiale søgning.

Se eventuelt den korte guide her https://docs.google.com/document/d/1wBeqcbj8vJT76-31PphgaKHt19XXabRBnxwFnyt7Ck0/edit?pref=2&pli=1

Udviklingsmiljø

SF har udarbejdet en installationsvejledning til test og produktionsmiljøer. Det er samme vejledning der er fulgt for at oprette udviklingsmiljøinstanserne. 

Til udviklingsmiljøerne er der stillet 3 instanser til rådighed

Adgang til administrationsværktøj i testmiljøer

Vi kan se ankiro administrationsinterfacet på alle ST miljøer ved at gå ind via Remote Desktop på rds.startest.dk eller fra en maskine på startest domænet.

I en browser tilgås Ankiro administrationsinterfacet via

http://ankiro.t[X].int.startest.dk:8099 hvor X er tallene 1-15.

Der logges på både udv- og test-miljøerne med startest bruger

Quicklinks til datasourcekode og søgeprofiler

Til releaseforberedelse er følgende liste af kodefiler brugbar, så man hurtigt kan se om der skal releases ændringer til ankiro datasource/index/søgeprofiler.

Datasources bygges op i
  BL.Batchjob.Ankiro →  AMS.Business.JobIndex.Internal.InternalJobIndexBusiness 
BL.Batchjob.Ankiro.csproj → AMS.Business.JobIndex.External.ExternalJobIndexBusiness 
BL.Batchjob.Ankiro.CV.CreateCVIndex - BuildDataSource() / UpdateDataSource()

Søgeprofilerne kan findes her
BL.Batchjob.Ankiro.CV\SearchprofileCV.xml
BL.Batchjob.Ankiro\SearchprofileAutoMatch.xml
BL.Batchjob.Ankiro\SearchprofileJppV2.xml

Vægtning i Ankiro søgeprofiler

Vægtningen for de forskellige parametre, kan ændres for at optimere / tilpasse søgningsresultaterne.
Dette gøres ved at tilgå den specifikke søge-profil og trykke "Edit Search Profile Definition".
Under "Criterion" tags, kan man tilrette / indsætte vægtning, som fx:
<Property name="HotjobText" weight="0.50" />

Vægtningerne tilpasses individuelt for hhv. interne og eksterne jobannoncer.

Vægtningsparametre

Ikke alle vægtningsparametre kan sættes på både interne og eksterne annoncer.
Det er vigtigt at man kun vægtningsparametre, som kan sættes på den pågældende jobannonce type.
Sætter man et parameteer på eksterne annoncer, som kun findes på interne, øderlægger man søgeprofilen, og man vil få returneret 0 resultater, uanset hvad man søger på. 

Herunder er en liste over de tilgængelige parametre.

Introduktion til Ankiro

Se vedhæftede slides for mere viden om Ankiro.