Menneskelig kontroll: hva som faktisk kreves

Kravet

Høyrisiko-KI skal utformes slik at fysiske personer kan føre effektivt tilsyn mens systemet er i bruk. GDPR artikkel 22 stiller et beslektet krav: den registrerte har rett til menneskelig inngripen ved helautomatiserte avgjørelser med betydelig virkning.

Fire forutsetninger for reell kontroll

1. Forstå. Den som kontrollerer må kjenne systemets kapasitet og begrensninger, inkludert kjente feilkilder.
2. Oppdage. Automasjonsskjevhet — tendensen til å stole ukritisk på maskinen — må motvirkes aktivt.
3. Tolke. Resultatet må presenteres slik at det kan etterprøves: begrunnelse, kilder, usikkerhet.
4. Overstyre. Personen må kunne ignorere forslaget, stoppe systemet og velge en annen løsning — uten negative konsekvenser internt.

Design som gir reell kontroll

• Vis grunnlaget for forslaget, ikke bare konklusjonen.
• Krev en kort begrunnelse ved avvik fra forslaget — og ved å følge det i inngripende saker.
• Ikke forhåndsutfyll «godkjent».
• Gi saksbehandleren nok tid; kontroll som kolliderer med produksjonskrav blir en formalitet.
• Sørg for at minst to personer kan utøve kontrollen.

Slik dokumenterer du det

Beskriv hvem som kontrollerer, hva de faktisk kan endre, hvilken opplæring de har fått, og hvordan overstyringer logges. Mål andelen saker der forslaget endres — er den null over tid, er kontrollen sannsynligvis ikke reell.

Det avgjørende spørsmålet: kan saksbehandleren si nei, og skjer det noen ganger?