Dansk fintech vil ændre arkitekturen bag AI
Et dansk AI-projekt er i gang med at udvikle en alternativ tilgang til de modeller, som dominerer AI-industrien i dag. Bag projektet står fintech-selskabet Monthio med Mads Aarup i spidsen. ”Vi er lykkedes med at træne og drive AI-modeller, der bruger mindre energi og billigere hardware."
Vil ændre AI-arkitekturen
Det nye AI-laboratorium, som Mads Aarup Pedersen kalder det, tog fart, da Monthios udviklere begyndte at undersøge selve arkitekturen bag de såkaldte transformer-modeller, som siden Google-forskningsartiklen Attention Is All You Need fra 2017 har været fundamentet under alt fra ChatGPT til Claude og Gemini.
En central del af den eksisterende arkitektur er den såkaldte attention-mekanisme. Den hjælper modellen med at afgøre, hvilke ord, sætninger eller datapunkter der er vigtigst, når den skal generere et svar.
Men jo mere information modellen skal holde styr på, desto flere beregninger kræver processen typisk. Det fungerer godt i mange tilfælde, men er ikke nødvendigvis optimalt med meget store datasæt, fx finansielle transaktioner.
Det er netop her, Sevren nu udvikler en alternativ tilgang.
"Vi er lykkedes med at træne og drive AI-modeller, der bruger mindre energi og billigere hardware," siger Mads Aarup og fortsætter:
”Vi arbejder med en ny måde at håndtere modellernes interne opmærksomhedsmekanisme på, som kan reducere behovet for regnekraft og samtidig gøre det lettere for modellerne at arbejde med store mængder data ad gangen," siger Mads Aarup Pedersen.”
AI skal hjælpe med at udvikle ny AI
Udgangspunktet er at tage alt den åbne kode, som de har kunnet få fat på fra de store amerikanske og kinesiske modeller, og derfra videreudvikle dem.
Ambitionen er samtidig ikke at udvikle én bestemt AI-model, men at optimere, forbedre og offentliggøre nye AI-modeller løbende.
”Vi tager eksisterende modeller, piller dem fra hinanden og bygger dem op igen med vores egen arkitektur,” siger Mads Aarup Pedersen.
Lige nu har Sevren 8 udviklere tilknyttet, og det er ifølge Mads Aarup Pedersen ikke forventningen, at de skal blive mange flere. Det er meningen, at AI-udviklingen på skal automatiseres ved hjælp af AI-agenter.
”Det er ikke den klogeste, der bygger de bedste AI-modeller herfra. Det er dem, der kan lave 100 eksperimenter hurtigst,” siger Mads Aarup Pedersen og fortsætter:
”Vi har udviklet et system, som læser ny forskning, foreslår eksperimenter og hjælper med at teste nye idéer. Tanken er, at det skal gøre det muligt at udvikle nye forbedringer til modellen hurtigere og hurtigere.”
Han henviser til, at de nuværende sprogmodeller i dag er blevet gode nok til at udvikle nye generationer af AI-systemer. Det er en udvikling, han forventer vil accelerere de kommende år.
Europa skal konkurrere på effektivitet
Der er begyndt at være stigende opmærksomhed og debat om Europas position i AI-kapløbet, som lige nu domineres af USA og Kina.
Mads Aarup Pedersen vurderer dog ikke, at Europa kan konkurrere med USA og Kina alene på kapital og investeringer.
I stedet bør Europa satse på sin egen vej med mere effektive modeller og åbne teknologier, mener han.
”Europa står for noget andet. Vi skal være bedre til at dele viden, til mindre energiforbrug og til at få modeller til at køre på almindeligt hardware og ikke kun de nyeste og dyreste chips,” siger han.
Forskningen og resultaterne fra Sevren vil løbende offentliggøres, så andre kan bygge videre på resultaterne. Om det på længere sigt kan føre til en dansk eller europæisk model, der kan konkurrere med de største internationale aktører, vil Mads Aarup Pedersen ikke afvise.
”Men hvis vi nogensinde kommer længere end at skille modeller ad og forstå dem indefra, og måske en dag bygger store foundation-modeller selv, så gør vi ikke det alene. Så bliver det som en del af et større europæisk økosystem, hvor vi samarbejder på tværs af landegrænser og sektorer,” siger han.