Nominerede til Dataetikprisen - Spot på Ansvarlig AI

Et eksempel på, at ansvarlig AI er integreret i governance 

ATP er en af Danmarks største pensions- og administrationsorganisationer og arbejder med AI i en kontekst, hvor behandling og afgørelser kan have store konsekvenser for borgere og virksomheder. ATP’s case adskiller sig ved at vise, hvordan ansvarlig AI kan forankres som en del af governance, compliance og risikostyring i en stor organisation. For ATP handler ansvarlighed ikke kun om det enkelte værktøj, men om at skabe strukturer, hvor AI-løsninger systematisk bliver screenet, vurderet, dokumenteret og fulgt op på. 

Udfordringen 

ATP peger selv på en række centrale risici som hallucinationer, automatiseringsbias, manglende transparens, deskilling, diskrimination og uklare ansvarsforhold. Udfordringen er ikke kun at identificere disse risici, men at gøre dataetik operationel i en organisation med mange forskellige teknologier, anvendelser og beslutningsgange. ATP beskriver også, at dataetik let kan fremstå abstrakt, hvis det ikke integreres tæt med eksisterende compliance- og governance-strukturer 

Et eksempel på, at AI har til formål at hjælpe, men ikke kan stå alene 

Carelog udvikler en AI-assisteret dokumentationsplatform til sundhedsprofessionelle. I en kontekst, hvor data er udpræget følsomme, og hvor fejl kan få direkte konsekvenser, har virksomheden arbejdet ud fra et klart princip om, at dataetik og ansvarlig AI skal være et designkrav fra begyndelsen. Carelog arbejder derfor ikke blot med en løsning til mere effektiv dokumentation. De er også et eksempel på, hvordan privacy-by-design, dataminimering og menneskelig kontrol kan bygges ind i et konkret produkt. 

Udfordringen 

Carelogs udgangspunkt er et dobbelt dilemma: På den ene side kan AI reducere administration og frigøre tid til sundhedsfagligt arbejde. På den anden side indebærer teknologien en række risici som datalæk, overindsamling, unødvendig overførsel af følsomme oplysninger, fejl i AI-genereret tekst og risiko for, at output bruges ukritisk. Samtidig møder virksomheden et legitimt krav fra kunderne om at kunne dokumentere, at sikkerhed og ansvarlig dataanvendelse ikke kun er noget, man siger. 

Det konkrete greb 

Carelog har valgt en arkitektur, hvor data og klientoplysninger opbevares lokalt på brugerens enhed, og hvor kun små lydsegmenter sendes midlertidigt til GDPR-kompatible servere i Sverige til transskription. Der gemmes ikke komplette lydoptagelser på virksomhedens servere. Derudover har virksomheden indført kryptering, sikre API-forbindelser, automatisk datasletning og mulighed for øjeblikkelig sletning via en “Ryd”-funktion. Virksomheden har også begrænset brugen af tredjepartsleverandører til GDPR-kompatible leverandører og knyttet arbejdet til ekstern validering gennem D-mærket. 

Sådan ser det ud i drift 

Når en sundhedsprofessionel optager en samtale i Carelog, genererer systemet først en transskription og derefter et struktureret notatudkast. Men AI’en afslutter ikke arbejdet, og output må ikke blive til journal af sig selv. Det fungerer som et foreløbigt arbejdsgrundlag, der skal kvalitetssikres, nuanceres og godkendes af den sundhedsprofessionelle. Den sundhedsprofessionelle skal derfor gennemgå udkastet, rette fejl eller misforståelser, tilføje faglig vurdering og kontekst. Først når indholdet er fagligt valideret, bruges det videre i eget journalsystem. På den måde er det fortsat den sundhedsprofessionelle, der vurderer, beslutter og står på mål for indholdet.  

For at understøtte ansvarlig brug har Carelog desuden en konkret tjekliste, som gør kravene i arbejdsgangen synlige i praksis. Den omfatter bl.a., at relevant samtykke skal være indhentet, at notatudkastet skal være gennemgået og rettet, at faglig vurdering og kontekst skal være tilføjet, at unødigt følsomme eller irrelevante oplysninger skal fjernes af hensyn til dataminimering, og at sletning eller retention skal håndteres korrekt, herunder via “Ryd”-funktionen ved behov.  

Hvilke risici adresserer de? 

Carelog arbejder især med at reducere risikoen for datalæk og overindsamling, leverandørrisici ved tredjepartsbehandling, uigennemsigtig brug af data, AI-fejl og automatisering uden menneskelig kontrol. Det centrale greb er, at ansvarligheden så vidt muligt håndhæves gennem produktets design frem for alene gennem brugerhensigter. Samtidig er brugerens ansvar tydeligt placeret, særligt i forhold til samtykke og faglig validering 

Det kan andre lære 

Carelogs case viser, at ansvarlighed kan blive operationel, når den omsættes til konkrete valg om arkitektur, lagring, adgang, sletning og menneskelig kontrol. Den viser også, at tillid styrkes, når virksomheder både gør deres praksis gennemsigtig og lader den blive valideret eksternt. Endelig viser casen værdien af at acceptere begrænsninger som en del af løsningen ud fra devisen om, at det kan være bedre at kunne mindre men beskytte mere. 

Derfor er de nomineret 

Juryen har nomineret Carelog for deres indsats for at imødekomme et reelt behov i sundhedssektoren med en transparent og gennemtænkt tilgang til ansvarlig AI. Særligt deres fokus på privacy-by-design, dataminimering, tydelig human-in-the-loop og evnen til at gøre kompleks teknologi tryg og forståelig for brugerne vurderes som stærke kvaliteter. Carelog er nomineret fordi de trods virksomhedens korte levetid illustrerer et bemærkelsesværdig stærkt fokus på dataetiske hensyn. De har taget nogle svære og ressourcekrævende valg som ellers ofte kun tilskrives større og mere modne organisationer. Det ønsker juryen at kvittere for.  

Et eksempel på, at AI anvendes til at udvide den demokratiske deltagelse, ikke erstattet den 

Institut for Vilde Problemer (INVI), arbejder med nogle af de mest komplekse samfundsudfordringer i Danmark. Deres case skiller sig ud ved ikke først og fremmest at handle om automatisering eller intern effektivisering, men om brugen af AI til at analysere borgeres, praktikeres og beslutningstageres forståelser af komplekse problemer. Her bliver dataetik tæt forbundet med demokrati, repræsentation og metode: Hvem bliver hørt, hvordan fortolkes deres bidrag, og hvordan undgår man, at AI reducerer deltagelse frem for at udvide den?  

Udfordringen 

INVI peger på tre centrale problemstillinger. Den første er bias i sprogmodeller og embeddings, som kan påvirke, hvordan borgeres udsagn grupperes og fortolkes. Den anden er beskyttelse af borgerdata mod at ende som træningsdata hos kommercielle tech-virksomheder. Den tredje er risikoen for, at AI bruges som genvej, så analyser erstatter dybere borgerinddragelse i stedet for at pege på, hvor mere inddragelse er nødvendig. For INVI er det derfor afgørende at holde fast i, at AI ikke er et neutralt værktøj, men et politisk og etisk valg 

Det konkrete greb 

Det centrale eksempel er INVI’s Model for Vilde Problemer (MVP), som anvendes til at analysere store mængder kvalitative data i projekter med bl.a. Ældreministeriet, KL, Kræftens Bekæmpelse, Bikubenfonden, Beskæftigelsesministeriet og SAGA. Data indsamles gennem Involve, et multimodalt engagementsredskab, hvor deltagere kan bidrage med tekst, lyd eller billeder som svar på åbne spørgsmål. Det er et bevidst valg, fordi ikke alle deltagere formulerer sig lettest i skrift eller trives i traditionelle surveyformater. AI og embedding-teknologi bruges herefter til at identificere semantiske mønstre og klynger på tværs af store mængder kvalitative data. 

Sådan ser det ud i drift 

INVI har bevidst designet MVP som et eksplorativt, ikke-prædiktivt redskab. Det bruges til at identificere mønstre og kompleksitet, ikke til at forudsige adfærd, rangere borgere eller anbefale løsninger. Data indsamles gennem Involve, hvor deltagere kan bidrage med tekst, lyd eller billeder, så analysen ikke alene afhænger af, hvem der er stærke skriftligt eller i andre traditionelle surveyformater. Det er et bevidst valg, fordi INVI vil give borgeres og frontmedarbejderes erfaringer samme analytiske tyngde som mere klassiske ekspertbidrag. 

I praksis bruges AI og embedding-teknologi til at identificere semantiske mønstre og klynger i materialet, men selve fortolkningen overlades ikke til modellen. INVI’s analytikere læser, vurderer og kontekstualiserer resultaterne, og de steder, hvor modellen placerer udsagn på en måde, der ikke stemmer med menneskelig forståelse, behandles ikke blot som fejl, men som signaler om, hvor materialet kræver særlig kvalitativ opmærksomhed.  

Det er også her, deres fairness-arbejde bliver en del af driften. I samarbejde med Oxford Internet Institute har de udviklet en metode, “Human Grounding Exercise”, hvor menneskelige eksperters gruppering af udsagn sammenholdes med over 40 embedding-modellers inddelinger. Resultaterne bruges ikke bare til forskning, men til at kvalificere modelvalg, metode og læsning af resultater i konkrete projekter. 

Hvilke risici adresserer de? 

NVI’s case adresserer først og fremmest risikoen for, at AI-baseret analyse giver et skævt billede af, hvem der bliver hørt, og hvordan deres udsagn forstås. Kataloget viser, at selv de bedst præsterende embedding-modeller ligger væsentligt under menneskelige eksperter i at reproducere semantiske sammenhænge, og at modellerne kan præstere forskelligt på tværs af demografiske grupper og politiske skel. Derfor handler risikoen ikke kun om teknisk bias, men også om repræsentation dvs. at nogle gruppers perspektiver kan blive gengivet mere præcist end andres, hvis modellen bruges ukritisk. 

Casen adresserer også en anden type risiko, nemlig at AI får mere autoritet end den bør have, både i analysen og i måden resultaterne kommunikeres på. Derfor har INVI gennem workshops med ETHOS Lab udviklet kommunikative principper, der blandt andet betyder, at de undgår at fremstille AI eller teknologi som objektiv eller neutral. Det er et vigtigt dataetisk greb, fordi det tydeliggør, at bias ikke kun ligger i modellerne, men også i den måde, man taler om dem på. Endelig adresserer casen risikoen for, at AI bruges som genvej til at reducere borgerinddragelse. INVI holder fast i det modsatte princip, at AI skal bruges til at synliggøre, hvor der er behov for mere inddragelse, ikke til at erstatte den. 

Det kan andre lære   

INVI’s vigtigste læring er, at ansvarlig AI i analysearbejde kræver mere end teknisk præcision. De viser, at det også handler om metodisk ydmyghed og villighed til at udsætte egne redskaber for kritik. Casen illustrerer desuden, at det ikke er nok at bruge avancerede modeller til at finde mønstre. Man må også undersøge, hvad modellerne overser, hvor de forvrænger, og hvilke grupper der risikerer at blive underrepræsenteret i den automatiske analyse. Her er INVI’s arbejde med Oxford og ETHOS Lab særligt interessant, fordi de ikke nøjes med interne antagelser, men lader eksterne forskere, praktikere og studerende udfordrer både data, metode og formidling. 

En anden vigtig læring er, at ansvarlig AI også handler om fravalg. INVI har bevidst valgt en eksplorativ anvendelse af AI frem for prædiktion, rangering og automatiseret beslutningsstøtte. Det gør casen til et godt eksempel på, at ansvarlighed ikke kun opstår ved at lægge kontroller oven på teknologien, men også ved at afgrænse dens rolle fra begyndelsen.  

Endelig viser casen, at det er en dataetisk og demokratisk beslutning, hvem man lader tælle som vidende. Ved at designe deres redskaber til at kunne behandle borgeres og frontmedarbejderes kvalitative input med analytisk seriøsitet udfordrer INVI en mere snæver forestilling om, at det primært er ekspertviden og standardiserede data, der bør forme beslutningsgrundlaget. 

Et eksempel på AI-udvikling med sproglig kontrol og dansk dataforankring  

Ordbogen er kendt som Danmarks største udbyder af online ordbøger og digitale sprogtjenester, men er i denne sammenhæng nomineret for deres arbejde med at udvikle egne AI-baserede sprogmodeller som ordbogen.ai og chat.dk. Casen peger på en særlig kombination af dansk sprogteknologisk udvikling, privacy-by-design, datasuverænitet og en stærk bevidsthed om brugere i sårbare positioner – særligt skolebørn.  

Udfordringen 

Ordbogen tager udgangspunkt i, at mange eksisterende AI-løsninger er baseret på globale infrastrukturer med uigennemsigtige dataoverførsler på tværs af datacentre og landegrænser. Det vurderer virksomheden som en uacceptabel risiko i løsninger til skolebørn, hvor interaktioner kan afsløre personlige forhold eller læringsvanskeligheder. Samtidig står de over for et klassisk dilemma mellem behovet for store datamængder og princippet om dataminimering. Derudover peger virksomheden på udfordringer med at udvikle danske benchmarks, robusthedstests og sikkerhedsmekanismer i et sprogområde, hvor standardværktøjer er mindre modne.  

Det konkrete greb 

Ordbogen har valgt at bygge egen sprogmodel og egen infrastruktur. Det betyder, at udvikling, træning og inferens kan foregå på dansk jord uden afhængighed af f.eks. amerikanske API’er. Valget handler dermed ikke kun om at udvikle en dansk model, men om at have kontrol over hele værdikæden fra datagrundlag og træning til drift, logning, sikkerhed og evaluering. Ifølge virksomheden betyder det, at data fra børn ikke forlader en dansk-ejet og sikker infrastruktur. For at håndtere dilemmaet mellem datamængde og dataminimering kuraterer Ordbogen træningsdata minutiøst med interne domæneeksperter og lingvister frem for ukritisk at indsamle alt tilgængeligt internetdata. Det indebærer også, at de har bygget egne frameworks til datagenerering og modeltræning, hvor lingvister og interne modeller indgår i et iterativt alignment-loop for løbende at forfine kvalitet og adfærd. Det gør menneskelig kontrol til en del af udviklingsarbejdet og ikke kun noget, der sker bagefter. Derudover arbejder de med egne benchmarks, red-teaming, manuelle test og interne testsæt for løbende at vurdere modellernes opførsel og robusthed.  

Sådan ser det ud i drift 

Løsningen anvendes i uddannelsessektoren som sikkert lærings- og databehandlingsværktøj, i erhvervslivet til fortrolig information og via API-partnere, som ønsker GDPR-kompatible sprogløsninger. Virksomheden fremhæver, at fordi de ejer hele værdikæden, kan de håndhæve nul-logning, teknisk isolation og fuld gennemsigtighed i egen kodebase. Det centrale er her, at ansvarligheden ikke alene hviler på vilkår og erklæringer, men på et setup, hvor virksomheden selv beskriver, at de løbende kan eftervise i egen kodebase, at brugerdata ikke gemmes eller genbruges til træning. 

De arbejder også med uafhængige sikkerheds- og revisionsmekanismer, herunder ISAE 3000. I løsninger til børn og brugere i mistrivsel anvendes et særskilt guardrails-system. Hvis modellen møder tegn på mistrivsel eller selvskade, skal den ikke optræde som samtalepartner eller rådgiver, men skifte rolle og henvise videre til relevante menneskelige hjælpetilbud. Det er et eksempel på, at modellens rolle afgrænses aktivt i brug. 

Hvilke risici adresserer de? 

Ordbogens case adresserer især risikoen for uigennemsigtig dataoverførsel, afhængighed af udenlandske AI-leverandører, træning på utilstrækkeligt kuraterede data, utilstrækkeligt dansk sproglig og kulturel forankring samt særlige risici i løsninger til børn.  

Casen adresserer den juridiske og geopolitiske gråzone, som kan opstå, når europæiske data behandles via amerikansk-ejede cloudmiljøer. Ordbogen beskriver ejerskab over egen infrastruktur som et forsøg på at fjerne denne usikkerhed frem for blot at administrere den. De peger også på udfordringerne ved at definere, teste og kvalitetssikre, hvad en “dansk” model egentlig er, når der findes færre modne benchmarks og standardværktøjer for dansk sprog og kultur. Derfor bliver evaluering, menneskelig test og udvikling af egne benchmarks en del af den dataetiske praksis.  

Casen viser, at ansvarlig AI ikke blot er et spørgsmål om databehandling, men om at sikre sproglig kvalitet, faktuel stabilitet, organisatorisk kontrol og etisk afgrænsning af modellens rolle. 

Det kan andre lære 

Ordbogens vigtigste bidrag er vise en tilgang, hvor ansvarlighed opnås ved, at organisationen har indsigt i og kontrol over hele kæden: data, model, evaluering, drift og sikkerhed. Casen viser også værdien af domæneekspertise og menneskelig test i udviklingen af AI til et mindre sprogområde. Og den viser, at privacy-by-design får reel betydning, når den ikke kun er et princip, men en arkitektonisk beslutning med organisatoriske og juridiske konsekvenser.  

Derfor er de nomineret 

Juryen har nomineret Ordbogen, fordi casen viser, hvordan ansvarlig AI kan bygges ind i selve det tekniske og organisatoriske fundament for en løsning. Juryen lagde særligt vægt på kombinationen af mange års dansk sproglig ekspertise, ambitionen om større uafhængighed af udenlandske teknologier, konkrete sikkerhedsforanstaltninger og en tydelig afgrænsning af modellens rolle i løsninger til børn og andre sårbare brugere. Det gør Ordbogen til et stærkt eksempel på, hvordan dansk AI-udvikling kan kobles med privacy-by-design, datasuverænitet og ansvarlig innovation i praksis.