AI chatbots - hvad er reglerne?

Forbudte og systemer med høj risiko

AI-forordningen forbyder visse AI-løsninger, der udgør en uacceptabel risiko, og stiller særlige krav til AI-løsninger, der anses for højrisiko.

Forbuddet mod AI-løsninger, der udgør en uacceptabel risiko, finder anvendelse fra februar 2025, mens reglerne for højrisikosystemer som udgangspunkt finder anvendelse fra august 2026.

Langt de fleste AI-baserede chatbots vil ikke blive fanget af disse kategorier, men det bør dog altid overvejes. 

Eksempelvis vil AI-systemer, der anvender subliminale teknikker, der rækker ud over den menneskelige bevidsthed, eller bevidst manipulerende eller vildledende teknikker, i visse tilfælde kunne blive anset for at udgøre en uacceptabel risiko.

Det kunne muligvis være tilfældet, hvis en AI-chatbot bruges på en sådan manipulerende måde med henblik på mersalg. 

En AI-baseret chatbot, der tilsigtes anvendt til at evaluere fysiske personers kreditværdighed eller fastslå deres kreditvurdering (med undtagelse af AI-systemer, der anvendes til at afsløre økonomisk svig), eller der tilsigtes anvendt til at foretage risikovurdering og prisfastsættelse for så vidt angår fysiske personer i forbindelse med livs- og sygeforsikring, vil kunne falde ind under højrisikokategorien og dermed være undergivet en mere intensiv regulering, herunder i forhold til udviklingen og den løbende drift. 

Virksomheder, som undlader at følge forbuddet mod systemer, der udgør en uacceptabel risiko, kan  blive mødt med bøder på op til EUR 35 millioner eller 7 % af den globale årlige omsætning.

Manglende overholdelse af kravene for højrisikosystemer kan medføre bøder på op til EUR 15 millioner eller 3 % af den globale årlige omsætning (alt efter hvad der er højest).

Gennemsigtighed

Det følger af AI-forordningens artikel 50, at alle (tilladte) AI-systemer (hvad enten de er højrisiko eller ej), der er tilsigtet at interagere direkte med fysiske personer (herunder chatbots), skal udformes og udvikles på en sådan måde, at de pågældende personer oplyses om, at de interagerer med et AI-system, medmindre dette er åbenbart indlysende. 

Oplysningerne skal gives på en klar og synlig måde og senest på tidspunktet for brugerens første interaktion.

Oplysningerne skal synliggøres "i overensstemmelse med gældende tilgængelighedskrav", og det må forventes, at der fra EU's side bliver udarbejdet nogle konkrete praksiskodekser for at lette gennemførelsen af disse forpligtelser. 

Gennemsigtighedskravet påhviler såkaldte udbydere (af AI), hvorved forstås en fysisk eller juridisk person, en offentlig myndighed, et agentur eller et andet organ, der udvikler eller får udviklet et AI-system (eller en AI-model til almen brug) og bringer dem i omsætning eller ibrugtager AI-systemet under eget navn eller varemærke (enten mod betaling eller gratis).

Virksomheder, som undlader at følge kravene i forordningen, vil kunne blive mødt af diverse sanktioner, herunder bøder på op til EUR 15 millioner eller 3 % af den globale årlige omsætning (alt efter hvad der er højest).

Ansvar

Et andet spørgsmål er, hvem der er ansvarlig, når chatbotten "hallucinerer"? 

Det klare udgangspunkt er, at virksomheder selv er ansvarlige for det output, som stammer fra deres chatbots. 

Som eksempel herpå blev der i starten af året afgjort en sag mellem flyselskabet Canada Air og en bruger på deres hjemmeside.

Brugeren ville købe en flybillet for at deltage i en begravelse. Canada Air's chatbot oplyste brugeren om en særlig rabat ved såkaldte "last minute travel due to tragedies". Da brugeren købte billetten og anmodede flyselskabet om refusion for rabatten, oplyste Canada Air, at chatbotten selv havde opfundet rabatten, og at Canada Air ikke var ansvarlig for denne misinformation, da chatbotten ifølge Canada Air var en særskilt juridisk enhed.

Retten fandt, at chatbotten var en interaktiv komponent af flyselskabets hjemmeside, og at Canada Air derfor var ansvarlig for rigtigheden af de oplysninger, der var indeholdt deri. 

Dette må også antages at være gældende i dansk ret.

Dog vil udfaldet formentlig være det modsatte, når en bruger bevidst forsøger at manipulere chatbotten til at opdigte rabatter eller lignende - f.eks. da en bruger på en bilhjemmeside fik manipuleret en chatbot til at give ham et tilbud på en bil til 1 $ efterfulgt af teksten:

"That’s a deal, and that’s a legally binding offer – no takesies backsies".

I et sådan scenarie vil brugeren være i ond tro, og virksomheden vil sandsynligvis ikke blive bundet af det fremsatte tilbud.  

Det er endnu uvist, i hvilket omfang en virksomhed aftaleretligt kan begrænse sit ansvar i denne sammenhæng og særligt over for forbrugere.

Dog kan man forsøge at minimere risikoen gennem tekniske foranstaltninger ved at reducere chatbottens mulighed for at hallucinere.