Når AI får handlekraft, trenger vi bevis

I store deler av karrieren har jeg jobbet med tillitssystemer og regulert programvare. Først som COO med elektronisk identitet i Signicat, senere som CISO og CTO i House of Control, blant annet med ISO 27001 og ISAE 3402. Det lærer deg én ting: Det holder ikke å si at du har kontroll. Når noen kommer og spør, må du kunne vise hva som faktisk ble gjort.

AI-agenter gjør denne problemstillingen mer aktuell. Problemet er på mange måter kjent, men tempoet og handlekraften er ny. Når agenter kan produsere kode og gjennomføre handlinger i en helt annen skala enn tidligere, kan vi ikke basere oss på at agenten gjør det riktige.

Vi skal ikke måtte stole på agenten for å kunne stole på resultatet. Tilliten må ligge i grensene som er satt på forhånd, kontrollene som kjører, og beviset som fanges underveis.

I Sigill bruker vi AI-agenter aktivt i utviklingen, og vi ser hvor mye raskere vi kan arbeide. Nettopp derfor må kontroll og dokumentasjon bygges inn i systemet fra starten. Rundt agentene har vi bygget et Agent Engineering-regime med eksplisitt scope og non-scope, versjonerte regler og deterministiske kontroller. Agenten som implementerer får ikke godkjenne. Review gjøres separat mot egne kriterier, og et navngitt menneske tar den endelige beslutningen.

Men kontrollene reiser et nytt spørsmål: Hvordan dokumenterer vi at kontrollene faktisk ble gjennomført dersom noen senere bestrider handlingen eller beslutningen?

«Det kan vi finne i loggen» er ikke alltid et tilstrekkelig svar. Hvem kontrollerer loggen? Kan den endres? Hvordan vet vi at den så slik ut da hendelsen faktisk skjedde? Git, CI/CD, review og audit trails kan inneholde mye av svaret, men virksomheten kontrollerer fortsatt i stor grad både systemene og historikken som skal dokumentere hva som skjedde.

En historikk vi selv kan endre, er til syvende og sist vår egen påstand.

Det er dette gapet Sigill er bygget for å fylle. Når en viktig handling skjer, kan vi samle bevis på hvilken agent som handlet, hvilken autoritet den hadde, hvilke regler som gjaldt, hva som ble gjort, hvilke kontroller som kjørte og hvem som godkjente. Bevisgrunnlaget kan forsegles kryptografisk og tidsstemples slik at senere endringer blir oppdagbare og materialet kan verifiseres uavhengig. Sensitive data trenger heller ikke forlate virksomheten; der det er hensiktsmessig, kan selve innholdet representeres med kryptografiske hashverdier. Beviset kan dermed bindes til det faktiske innholdet uten at innholdet selv må inngå i bevisgrunnlaget.

Mangler vi bevis for at en kontroll ble gjennomført, skal den ikke registreres som oppfylt. Da er status ukjent. Det kan høres ut som en detalj, men forskjellen er vesentlig. Fravær av et funn er ikke det samme som bevis på at en kontroll faktisk ble gjennomført.

Det er også her skillet mellom kontroll og bevis blir viktig. Regimet rundt agentene skal redusere risikoen for at de gjør noe de ikke skulle gjøre. Sigill skal gjøre det mulig å etterprøve hva som faktisk skjedde. Ingen av delene beviser at resultatet er riktig eller at programvaren er feilfri. En feil bestilling kan gjennomføres helt korrekt. Det vi kan dokumentere, er hvilket mandat som forelå, hvilke kontroller som ble gjennomført og hvilken beslutningskjede som førte frem til resultatet.

Vi bygger etter de samme prinsippene i vår egen utviklingsprosess. Endringer skal kunne spores fra bestilling, gjennom implementasjon, kontroller og review, til menneskelig godkjenning og produksjon. Bevisgrunnlaget samles mens prosessen pågår, ikke rekonstrueres i ettertid.

Programvareutvikling er bare ett eksempel. Den samme problemstillingen oppstår når en agent får myndighet til å endre data, starte en prosess, kommunisere med en kunde, behandle en sak eller handle på vegne av en virksomhet. Jo mer handlekraft vi gir agenten, desto viktigere blir det at viktige handlinger etterlater et bevis som ikke kan endres i ettertid uten at det oppdages.

Det leder til et spørsmål flere som bygger nye digitale plattformer bør kunne svare på:

Hvis vi om atten måneder må forklare én konkret handling utført av en AI-agent – hvem bestilte den, hvilket mandat hadde agenten, hvilke regler gjaldt, hvilke kontroller ble gjennomført og hvem godkjente – hvor mye av svaret kan en uavhengig part faktisk etterprøve?