Kan algoritmer diskriminere?

«Baby, you livin' the life, but n….., you ain't living right». Lil Nas X topper billboard-listen. Jeg, en 50-årig etnisk norsk «boomer», rapper inspirert med. Nei, du kan ikke si n-ordet, det er det bare afro-amerikanere som kan si. Det er rasistisk og uten medfølelse for en undertrykt gruppe! Hæ? Det er jo ikke jeg som sier n…., men artisten! Han synes sikkert det er kult at jeg synger sammen med ham?

Hei, der sa du n-ordet igjen! Ungdommen er, og blir, uenig. Ingen argumenter hjelper, hverken å påberope seg respekt for både kunstneren og kunsten hans ved at teksten lever videre i lytteren. Ei heller viktigheten av ytringsfrihet, som i aller svakeste utgave burde tilsi at man kan gjengi en tekst ordrett. Mon tro hvordan opplesere av lydbøker løser dette, sier de n….. eller n-ordet når den afro-amerikanske forfatteren vitterlig skriver n…. i teksten?

Maskiner utfører kompliserte beregninger

Fokuset i samfunnet er nå å unngå diskriminering av antatt svake grupper heller enn å hjelpe gjennomsnittet. Dét tolker jeg som et paradigme-skifte fra utilitaristisk (mest mulig samlet nytte) til rawlsiansk (ingen lenke er sterkere enn det svakeste ledd) nyttemaksimering ved politikkvalg i samfunnet. Som samfunnsøkonom og forsker med kvantitative metoder på Oslomet ser jeg anti-diskrimineringsparadigmet også krype inn og uthule positivistisk kunnskapsbygging.

Nå jaktes det høyt og lavt etter kjønns- og rasediskriminerende algoritmer. Og det er like greit at vi skjønner implikasjonen siden kunstig intelligens (AI) nå omgir oss overalt og endrer verden med økende akselerasjon. Det medfører blant annet at verdiskapningen først går sakte opp, for så å øke mer og mer per tidsenhet, og til slutt går til himmels. Vekstkurven ligner en bandykølle, den er lenge flat før den får en rask krumning for deretter å gå rett opp, for å sitere Silvija Seres.

Det har tatt meg litt tid å trenge igjennom AI-hypen. Kort sagt er det god gammeldags kvantitativ analyse med supersterke maskiner som utfører kompliserte beregninger på en stor mengde data. Hvert piksel i et elektronisk bilde er egentlig en variabel hvor verdien reflekterer fargen i akkurat det punktet. Maskinen kan dermed analysere datasettet, dvs. bildet, og så beregne en sannsynlighet at vi ser for eksempel en hund eller en katt. I dag er beregningen tilnærmet 100 prosent sikker. Dette kalles maskinlæring (ML) fordi parameterne i den matematiske funksjonen/modellen som beregner sannsynligheten har blitt justert ved gjentatte sammenligner med riktig utfall inntil den har «lært» hva som er en hund og en katt.

Beregner sannsynlighet med høy presisjon

Tilsvarende kan maskinen beregne sannsynligheten for at vi mennesker gjør en spesifikk handling når den får oppgitt informasjon om oss. Slike variabler kan være alt fra kjønn, rase, nasjonalitet, bosted, alder, utdanning til hårlengde, naboer, andres reaksjoner på oss, for eksempel likes på hytteturbildet i Facebook eller Airbnb-utleieres karaktersetting av gulvvasken vår. ML kan så beregne sannsynligheten med skremmende høy presisjon om vi blir vellykket i en spesifikk stilling, stryker til eksamen eller vil score mål. Maskinen trenger ingen teoretisk forklaring for hvorfor modellen med akkurat disse variablene treffer, empirien taler for seg selv.

Maskinen beregner egentlig et gjennomsnitt for hvordan det har gått med personer som er akkurat lik deg selv, noe statistikere og kvantitative analytikere har gjort gjennom alle tider. Gjennomsnittlige antagelser er fagenes identitet. Jo mer informasjon vi har, jo likere deg vil din referansegruppe være og mer relevant vil gjennomsnittsantagelsene bli. Men dette tallet er først interessant når det brukes som basis for å foreta en beslutning.

Hvem skal tilbys den utlyste stillingen, kursopptak for doktorgradsstipendiater eller spissposisjonen på juniorlaget? Hvis det skjer automatisk ved at maskinen blir programmert med «hvis-så»-funksjoner, for eksempel «hvis høyest sannsynlighet for suksess, tilby stilling» så er kandidatene vurdert og behandlet etter det vi like gjerne kan kalle profiling, statistisk diskriminering, stereotyper, fordommer, generaliseringer, osv. Du er med andre ord ikke behandlet som det individet du er, men ut ifra hvordan gjennomsnittet i din gruppe er.

Kan ikke brukes til gode formål

Kunnskap gjennom maskinlæringsprediksjoner (heretter kalt ML-prediksjon), dvs. at man anslår sannsynligheten for en gitt hendelse i framtiden, kan ofte være positivistisk/objektivt sann, men det er likevel være galt å handle ut ifra denne kunnskapen alene. Et klassisk eksempel er at sannsynligheten for suksess for en diskriminert grupper er liten, nettopp fordi gruppen er diskriminert. Hvordan kan innvandreren selge hvis rasistiske kjøpere nekter å snakke med deg? Da har vi strukturell rasisme. Eller er det fordi innvandreren ikke har forstått den kulturelle bakgrunnen til den potensielle kjøperen, og dermed ikke klarer å frembringe overtalende argumenter?

All automatisk utvelgelse er dermed problematisk, noe akademia etter hvert har forstått og samfunnsbevisste forskere derfor intenderer å forhindre. Men, trenden er å «helle ungen ut med badevannet».

Det er sterk motstand mot å inkludere kjønn, rase, nasjonalitet, ja selv postkode som gir bosted, i ML-prediksjon, fordi noen kan komme til å bruke prediksjonen på gal måte. Vi står igjen med en svakere beregning og mindre kunnskap fordi kunnskapen kan misbrukes. Resultatet blir da lite innsikt og svak presisjon, som dermed heller ikke kan brukes til gode formål.

Mennesket kan imidlertid ta algoritmens plass i anvendelsen av ML-prediksjonen. Det heises et rødt flagg ved liten sannsynlighet for suksess, slik at noen kan intervenere for å finne ut hvordan vedkommende eventuelt kan korrigere kursen. Hva burde søkeren gjøre for å kvalifisere seg for en type jobb, kurs for doktorgradsstipendiater eller spissplass? Kanskje vedkommende vil få suksess hvis han/hun tar et kort forkurs, eller bruker noen timer på skuddtrening? Universiteter har kunnet redusere frafallsprosenten betydelig ved tidlig å kunne ringe opp studenter definert av ML-prediksjoner basert på bakgrunn og tidlige resultater til å være i faresonen for å stryke på slutteksamen.

Det er også påtagelig at det diskrimineringsskeptiske AI-miljøet vil ekskludere faktorer «alle» er enige om at er diskriminatoriske, men uten forbehold inkluderer andre faktorer som er minst like diskriminerende. Eksempel på det første er kjønn, og det andre alder. I gjennomsnitt vil kultur og dermed handling, være forskjellig mellom kjønnene og aldersgrupper. Det enkelte individ kan likevel avvike fra sitt gjennomsnitt. Ingen kan i dag bruke kjønn som argument for ansettelse, men det er altså lovlig å differensiere bilforsikringspremien mellom aldersgrupper.

Kan lage prediksjoner for fattige land

Kvantitativ kunnskap er kunnskap om gjennomsnittet. Hvis vi ikke kan beregne gjennomsnitt i redsel for potensiell diskriminering, så må kvantitativ analyse forkastes. Hvis intuisjonen, magefølelse og fordommer tilegnet gjennom et langt liv blir eneste basis for beslutninger blir det nok heller mer, enn mindre, diskriminering.

Vi som jobber med utviklingsland ser fremdeles at det ligger implisitte generaliseringer om kultur bak beslutninger som angår enorme befolkningsmengder. Der ingen spesifikk kunnskap finnes, råder synserne. Men selv i fattige land kan det nå være mulig å innhente meget detaljert kunnskap til å lage gode ML-prediksjoner. Online overvåkning av sosiale medier er kun en av mange mulige datakilder.

Håvard Hegre ved bl.a. PRIO har utviklet en delvis ML-basert prediksjonsmodell for tidlig varsling av politiske konflikter i Afrika (ViEWS). Det gir mulighet til å forutse hvor konflikter er i ferd med å blusse opp, og dermed å intervenere før det skjer. Hvor troverdig vil modellen være hvis variabler som gjenspeiler gjennomsnittsbetraktninger om kultur utelates i redsel for mulig diskriminering? Vi trenger snarere flere heller enn færre ML-prediksjoner også innenfor samfunnsvitenskapene for å bistå utviklingsland mot økende akselererende vekst.

Vi skal høre på ungdommen, for de har ofte rett. Selv har jeg blitt nødt til å bytte ut kjøtt med grønnsaker og fisk for å samle podene ved middagsbordet, og over tid foretrekker jeg selv vegetarkost. Men, jeg vil neppe venne meg til å ta kultur og ukultur ut av kunnskapsbegrepet. Det gir bare mindre kunnskap. Men, den observante leser ser at jeg strekker meg til å skrive n-ordet i stedet for n…. for husfredens skyld.