Dokumentet beskriver implementeringen af Ankiro på jobnet herunder udvikler tips og tricks.

Teknisk dokumentation

Ankiro er et 3. parts produkt til indeksering og søgning af dokumenter. Det ny Ankiro setup indeholder 3 webservices for indeksering, oprettelse og søgning af documenter. Fra 2020-2 release kun det ny Ankiro Services bliver brugt i Jobnet.

1.Ankiro ManagementService

Ankiro Management Service har ansvar for oprettelse ,opdatering og sletning af DataSources og Indekser.

Datasource er en schema for en dokument.

fx. her hvordan man kan definere en schema for datasource og resultat i Ankiro Dashboard

Kode til definition af schema

og resultat i Ankiro Dashboard

2. Ankiro Document Service

Ankiro Document Service har ansvar for oprettelse documents fx. Jobannounce eller Cv. Schema for Jobannounce eller Cv administreret af Ankiro Managment Service.

Når man oprette en Ankiro Document, datatype skal matches til schema.

3. Ankiro Search Service

Ankira SeachWeb Service har ansvar for søgning udfra angivet søgeindeks. Søgeindex er administeret af Ankiro Management Service.

Fig 1. skitsetegning af serviceaftagere af Ankiro (mangler opdatering)

Fig 2. oversigt over komponenter med integration til Ankiro (pr 2016-4)

Ankiro komponenter

Ankiro Enterprise Suite

Administrationsportal til produktet, hvor man kan se og konfigurere data sources, indexes og søgeprofiler.

Søgeprofiler

Under "Search Profiles" → "Search" er det endvidere muligt at teste søgeprofilerne. Visse funktioner er ikke tilgængelige fra administrationsportalen såsom radial søgning. Test af søgeprofil udføres ved at indsætte "*" uden anførselstegn i "Search For" og udfylde en eller flere søgekriterier.

Fig 3. eksempel på fritekstsøgning på "budarbejde mv."

Fig 4. Søgeresultat vist i administrationsportalen

Bemærk man kan få vist "Show Diagnostics Xml" som giver gode indikationer på hvordan SearchServer har frembragt søgeresultatet, hvilket kan bruges til at fejlsøge på hvorfor et søgekriterie ikke er slået igennem.

Data Sources

Man kan hurtigt få et overblik over indlæste dokumenter på denne fane

Fig 5. Data sources

For jobannoncer er ID i ankiro jobannoncens ID hvorfor man hurtigt kan fremsøge en interessant jobannonce herfra.

Remote Access

Fanen muliggør diagnosticering fra jobnet eller services, da indkomne søgninger vises her realtid. Af samme årsag er værktøjet kun brugbart på testmiljøer med få samtidige søgninger.

Det er muligt at se søgningens input parametre, afviklingstid, resultat samt datamængder modtaget/sendt, hvilket er meget brugbart til udvikling og fejlsøgning i testmiljøer.

SearchServer

Selve søgekomponenten som står for Ankiros proprietære indeksering og udsøgning.

AnkiroEnterpriseSuite64

SQL Database indeholdende de indekserede dokumenter. SQL instansen anvendes også til udsøgning, geospatiale beregninger og indeksering.

Index files

Sammen med SearchServer installationen ligger indeksfiler, som hænger uløseligt sammen med AnkiroEnterpriseSuite64 databasen. Det er vores antagelse at filerne er en proprietær indeksering af dokumenter til brug for fritekstsøgninger, thessarus søgninger etc.

Batchjobs

Hvert batchjob har ansvaret for at oprette datasource, indexes og søgeprofiler tilhørende deres funktionsområde.

BL.Batchjob.Ankiro

Batchjobbet står for indekseringen af interne og eksterne jobannoncer. De interne annoncer hentes fra AMS_PDB mens eksterne annoncer er af Ankiro crawlede annoncer og udstillet til Jobnet via en webservice.

Interne jobs hentes fra AMS_PDB men batchjobbet kalder også Jobnet for at få en html rendering af annoncen, som ankiro så kan søge på.

Eksterne jobs hentes fra https://stage-jobnet-star.ankiro.dk/1.0/JobLeveranceService / https://jobnet-star.ankiro.dk/1.0/JobLeveranceService implementeret som en REST service og kan med toggleswitchen UseJobDeliveryRestService=false i Bl.BatchJob.Ankiro sættes til at køre mod den forrige SOAP implementering. Servicen er ret enkel at teste med en restklient, herunder et screenshot af et kald med chrome postman extensionen:

Batchjobbet kan kaldes med følgende parametre:

deploy
Der testes om der allerede er oprettet datasources og indexes før disse oprettes. Ændringer til eksisterende håndteres med andre ord ikke med denne parameter. Derudover indlæses nye søgeprofiler hvis de ikke allerede findes eller er ændret.
Med 2017-1 US352 vil deploy håndtere create/update af datasource, index og søgeprofiler
full
Søgeprofiler, indexes og datasources slettes før disse oprettes fra ny.
reload
Reindekserer interne jobannoncer, såfremt applikationskonfigurationen InternalIndexOnly ikke er sat til true, reindekseres eksterne annoncer også.
reloadall
Reindekserer interne og eksterne jobannoncer

BL.Batchjob.Ankiro.Cv

Batchjobbet står for indekseringen af borgernes CV til udsøgning i jobkon samt øvrige aftagere af CVServiceForDFDG. Borgernes CV hentes fra AMS_CV.

Batchjobbet kan kaldes med følgende parametre:

deploy
Der testes om der allerede er oprettet datasources og indexes før disse oprettes. Ændringer til eksisterende håndteres med andre ord ikke med denne parameter. Derudover indlæses nye søgeprofiler hvis de ikke allerede findes eller er ændret.
Med 2017-1 US352 vil deploy håndtere create/update af datasource, index og søgeprofiler
full
Søgeprofiler, indexes og datasources slettes før disse oprettes fra ny. Herefter reindekses alle CV
reload
Reindekserer alle CV.
reloadall
Reindekserer alle CV.

Søgeprofiler

Søgeprofiler i Ankiro definerer søgekriterier, udformingen af resultatsæt samt sorteringen af samme.

Strukturen er opbygget af et <ResultFormat> element, som definerer resultatsættet samt sorteringen i <SortField> elementer, samt et <Query> element. Query elementer kan nestes og med attributen Operation angives om de nestede elementer er additive eller exclusive i selekteringen.

Bemærk søgekriteriet <Criterion property='Ankiro.Position' weight='1.0' /> er specielt, da der i version 1.13.808.20972 af Ankiro er en bug, som gør kriteriet bliver skippet, hvis der i querien ikke er indeholdt et andet kriterie, der udsøger på en property som eksemplet nedenfor

Se eventuelt den vedhæftede email korrespondance med Ankirosupporten på denne fejl.

Automatch

Søgeprofilen for automatch dokumenteret her er indført med 2016-3 releasen. Den bliver kaldt op til 3 gange med forskellige input for at kategorisere resultaterne i jobmatch, beslægtede og hotjobs (forretningsreglerne for udsøgning er dokumenteret under forretningsregler for automatch på dette site). Det var tænkt at kategorisere i de 3 grupper i en søgning, men det kan ikke lade sig gøre før Ankiro bliver opgraderet sammen med SQL Server platformen til 2012, hvor vi vil kunne udføre den radiale søgning som et kriterie der enten er opfyldt eller ej i modsætning til nu, hvor den radiale søgning påvirker vægtningen af resultatet.

I stedet kaldes søgeprofilen i 3 omgange hvis det forrige kald ikke fik fyldt en liste af 10 jobforslag

Occupation, Flexjob=true hvis borger er flexjobber og geopunkt for at udsøge jobmatch
OccupationFreetext, Flexjob=true hvis borger er flexjobber og geopunkt for at udsøge beslægtede job.
HotjobSearch, (Flexjob=true og Occupation hvis borger er flexjobber), liste af jobannoncer der allerede er udsøgt samt geopunkt for borger for at udsøge hotjobs eller deltidsjob med matchende discoams kode

Ovenstående struktur er gentaget for indekset for interne jobannoncer og indekset for eksterne jobannoncer

Der er implementeret en række integrationstests i AnkiroTest.AutomatchTests, som vil kunne benyttes til at teste og afdække problemer

CV

Søgeprofilen anvendes af CVServicesForDFDG til udsøgning af borger CV. Profilen er lavet med erfaringerne fra post 2016-3, hvorfor den indeholder både boundingbox (firkantet geo søgning) og radial kriterier, hvor der switches imellem de to funktionaliteter i komponenterne der kalder søgeprofilen for kun at have en søgeprofil at vedligeholde.

JPPv2

Søgeprofilen for det nuværende findjob.

Kendte udfordinger

Vores ankiro implementering har 3 kendte udfordringer.

Radial søgning

Med 2016-3 blev det konstateret at den nuværende implementerede radiale søgning ikke performer godt nok til produktion. Man kan via Remote Access konstatere at søgningerne tager 30-90 sekunder eller timer ud. I produktion ligger der ~12.000 jobannoncer og ~120.000 cv'er som er geospatialt indekseret, det er muligt at vi aldrig kan få den radiale søgning til at performe. Der kører en åben FB sag på det her https://fogbugz.amstest.dk/default.asp?92716#861017. Der er i mellemtiden implementeret en geospatial søgning med en algoritme, der udsøger i en firkant, hvilket kan indekseres og dermed udsøges med langt bedre performance.

Ophobning af statistiske data (forsøges løst med 2017-1 US352)

Produktionsdatabasen for ankiro har rundet 75GB, hvoraf kun ~700MB er dokumentdata og indexes. Resten er statistik og loggede søgninger. Der skulle efter sigende være slukket for maintenance jobs som rydder op i logninger, grundet påvirkning af ankiros performance, men det er ikke lykkedes at finde sagen eller lign. der dokumenterer dette. FB sag https://fogbugz.amstest.dk/default.asp?93184 dokumenterer et workaround og en forespørgsel hos Ankiro om deres bud på om der kunne være uhensigtsmæssige sideeffekter ved at afvikle scriptet. Fremadrettet skal vi have kigget på anbefalingerne her http://docs.ankiro.dk/display/AES/Search+logging i forhold til logninger mod ankiro, da vi helt sikkert logger for meget og iøvrigt pt. ikke kører med oprydning af dette.

Opdatering af datasources/indexes (forsøges løst med 2017-1 US352)

Det er konstateret at afvikling af batchjobs med parameter deploy/update mod testmiljøer kan ende med at ankiro installationen på miljøet korrupteres og skal geninstalleres fra bunden. Kørsler med parameter full virker ofte ikke før workaround i FB 93184 nævnt ovenfor er afviklet, men selv her har vi ikke en 100% succesrate.

Planlagte produktopdateringer (sker med 2017-1 US352)

Der findes en nyere version af Ankiro produktet, som kræver Sql Server 2012. Geolokationsudsøgningen som i vores nuværende version er en "custom" implementering af Ankiro vil istedet kunne anvende Sql Servers genereliserede implementering.

Det vil give os følgende muligheder:

1) Administrations portalen understøtter søgninger med geolokation baseret på sql server 2012 (nuværende kan ikke angive radial parameter)

2) Vi kan lave udsøgninger, hvor afstanden fra centrum ikke indgår i vægtningen af resultatet. Dette gav os problemer i forhold til at lave automatch i en søgeprofil, da hotjob nær centrum blev vægtet højere end jobmatch i kanten af den radiale søgning.

Se eventuelt den korte guide her https://docs.google.com/document/d/1wBeqcbj8vJT76-31PphgaKHt19XXabRBnxwFnyt7Ck0/edit?pref=2&pli=1

Udviklingsmiljø

SF har udarbejdet en installationsvejledning til test og produktionsmiljøer. Det er samme vejledning der er fulgt for at oprette udviklingsmiljøinstanserne.

Ankiro klient dll'er og samples kan findes under \\starftp1001.int.startest.dk\Developers$\

Til udviklingsmiljøerne er der stillet 4 instanser til rådighed

DB Jobnet og JGM	Ankiro
stardbs1102\jobnet2	http://ankiroudv2.int.startest.dk:8099
stardbs1102\jobnet1	http://ankiroudv1.int.startest.dk:8099
stardbs1102\jobnet3	http://ankiroudv3.int.startest.dk:8099
N/A	http://ankiroudv4.int.startest.dk:8099

*Default DFDG er det miljø for releasen der bliver deployet oftest.

ankiroudv4 er tiltænkt test af den nyeste ankiro version til sql 2012+

Opret lokal Ankiro instans

Skulle der være et behov for en lokal Ankiro instans kan installationspakken hentes her \\starftp1001.int.startest.dk\Developers$\Ankiro\Ankiro . Følg instrukserne i ReadMe.txt.

Produktionsdatabasen for ankiro vil kunne restores lokalt, hvis det er et produktions-issue der forsøges reproduceret. Husk at rebuilde ankiros indexes efter restore og genstart af ankiro servicen. (Gøres ved klik på "rebuild index" i administrationsportalen på detaljesiden for hvert index).

Adgang til administrationsværktøj i testmiljøer

Vi kan se ankiro administrationsinterfacet på alle ST miljøer ved at gå ind via Remote Desktop på rds.startest.dk eller fra en maskine på startest domænet.

I en browser tilgås Ankiro administrationsinterfacet via

For at få adgang til Ankiro Suite, oprettes en sag til SF, for at få oprettet en bruger til formålet.

Der er D6uju kursus data på både ST2, ST8 og ST9. (2600 kurser på ST2 og 3600 kurser på ST8 og ST9)

Quicklinks til datasourcekode og søgeprofiler

Til releaseforberedelse er følgende liste af kodefiler brugbar, så man hurtigt kan se om der skal releases ændringer til ankiro datasource/index/søgeprofiler.

Datasources bygges op i
Ams.Jobbank.Indexes.External.JppExternalIndex - BuildDataSource() / UpdateDataSource()
Ams.Jobbank.Indexes.Internal.JppInternalIndex - BuildDataSource() / UpdateDataSource()
BL.Batchjob.Ankiro.CV.CreateCVIndex - BuildDataSource() / UpdateDataSource()

Søgeprofilerne kan findes her
Jobnet\Apps\AppCode\JNET_ConsoleApplications\BatchJobs\BL.Batchjob.Ankiro.CV\SearchprofileCV.xml
Jobnet\Apps\AppCode\JNET_ClassLibraries\Tools\Ams.Jobbank.Indexes\SearchprofileAutoMatch.xml
Jobnet\Apps\AppCode\JNET_ClassLibraries\Tools\Ams.Jobbank.Indexes\SearchprofileJppV2.xml

Ankiro

Teknisk dokumentation

1.Ankiro ManagementService

2. Ankiro Document Service

3. Ankiro Search Service

Ankiro komponenter

Ankiro Enterprise Suite

Søgeprofiler

Data Sources

Remote Access

SearchServer

AnkiroEnterpriseSuite64

Index files

Batchjobs

BL.Batchjob.Ankiro

BL.Batchjob.Ankiro.Cv

Søgeprofiler

Automatch

CV

JPPv2

Kendte udfordinger

Radial søgning

Ophobning af statistiske data (forsøges løst med 2017-1 US352)

Opdatering af datasources/indexes (forsøges løst med 2017-1 US352)

Planlagte produktopdateringer (sker med 2017-1 US352)

Udviklingsmiljø

Opret lokal Ankiro instans

Adgang til administrationsværktøj i testmiljøer

Quicklinks til datasourcekode og søgeprofiler

Tilgængelighed: https://starwiki.atlassian.net/was