Vorig jaar mei erkende de Belastingdienst, na lang duwen en trekken door pers en volksvertegenwoordigers, zich schuldig te hebben gemaakt aan etnisch profileren bij het controleren van aangiften voor de inkomstenbelasting. Medewerkers hadden de computerprogramma’s zo ingericht dat 11.000 mensen vanwege hun tweede nationaliteit aan strengere controles werden onderworpen dan andere Nederlanders.

Ook andere overheidsinstellingen maken gebruik van voorspellende algoritmes die discriminerend uitpakken. Zo werd de gemeente Rotterdam op de vingers getikt vanwege een algoritme waarbij mensen met een migratieachtergrond relatief snel worden aangemerkt als ‘potentiële uitkeringsfraudeurs’. De dataverzameldrift van veel overheden leidt niet alleen tot een aantasting van privacy, maar ook tot institutionele discriminatie.

De Wetenschappelijke Raad voor het Regeringsbeleid wijst daarnaast op een ander probleem bij het toenemend gebruik van deze algoritmes: het verandert de machtsverhouding tussen overheid en burger. Want terwijl de overheid steeds meer gegevens verzamelt over haar burgers, en burgers in die zin dus steeds transparanter worden, worden de besluiten van de overheid juist minder navolgbaar.

In mijn boek Datamacht en tegenkracht ga ik in op machtsverschuivingen als gevolg van digitalisering. Niet alleen overheden, maar bijvoorbeeld ook internetbedrijven en werkgevers voeden grote hoeveelheden persoonsgegevens aan algoritmes om mensen een profiel op te plakken teneinde hun gedrag te voorspellen, beoordelen of beïnvloeden.

Door de wildgroei aan profilering worden veel keuzes niet door ons maar voor ons gemaakt, vaak zelfs zonder dat we ons er bewust van zijn en zonder dat we inzicht hebben in wat aan die keuzes ten grondslag ligt. En zo verschuift de macht met steeds grotere snelheid in de richting van bedrijven en overheden – weg van burgers, internetgebruikers en werknemers.

In dit artikel focus ik op de opmars van voorspellende algoritmes binnen onze nationale en lokale overheden. Waarom hebben ze zo’n vlucht genomen, en hoe kunnen we voorkomen dat burgers steeds machtelozer worden?

Risicoloze samenleving

De enorme toename van het gebruik van algoritmes komt natuurlijk in de eerste plaats doordat technologische innovatie ons nu in staat stelt te doen wat voorheen ondenkbaar was. Het verzamelen, transporteren en opslaan van grote hoeveelheden data is steeds goedkoper geworden en de rekenkracht van computers  enorm toegenomen.

Door het combineren van data kunnen profielen worden opgesteld. Die bevatten de typische kenmerken van bijstandsfraudeurs, of van daders of slachtoffers van huiselijk geweld. Vervolgens is het nu technisch mogelijk om grote hoeveelheden mensen langs dit profiel te leggen en zo te voorspellen of zij tot een probleemcategorie (gaan) behoren. De mensen met een rood vlaggetje worden vervolgens extra onderzocht, of nauwlettender in de gaten gehouden.

We lijken het steeds meer aanvaardbaar te vinden dat mensen gedetailleerd in kaart worden gebracht: in hun eigen belang en in het belang van ons allemaal. Van overheden was de drang om burgers ‘leesbaar’ te maken al eeuwenlang bekend: zij streven naar maximale rust en orde en daarmee naar zoveel mogelijk informatie. Nieuw is dat de samenleving daar weinig tegen protesteert.

Volgens de Duitse socioloog Ulrich Beck, die in 1986 het begrip ‘risicomaatschappij’ muntte, kunnen mensen in westerse samenlevingen steeds slechter omgaan met ongeluk en tegenslag. Mensen worden zelf verantwoordelijk gehouden voor hun geluk en succes, en daarmee ook voor hun ongeluk en falen. Het maakt dat we ons willen indekken tegen tegenslag, en streven naar controle, voorspelbaarheid en zo weinig mogelijk risico. En daarvoor kijken we al snel naar de staat.

Toch kozen de Verenigde Staten en – onder Amerikaanse druk – de Europese Unie voor het verzamelen van heel veel informatie over álle vliegtuigpassagiers om vervolgens een algoritme te laten bepalen wie van hen potentiële terroristen waren. De vraag of het geld dat hiermee gemoeid is niet beter geïnvesteerd kan worden in gerichte opsporing en in meer menskracht in plaats van algoritmische profilering wordt nauwelijks gesteld.

Ook op andere terreinen, zoals preventive policing of het opsporen van daders van huiselijk geweld, is het de vraag of voorspellende algoritmes opleveren wat ervan verwacht wordt. Veel evaluaties laten een geringe opbrengst zien. Toch leidt dat zelden tot het stopzetten van het project – vaak juist tot een intensivering. We zijn er met z’n allen diep van overtuigd dat cijfers objectiever zijn dan mensen en dat meer data leiden tot superieure besluiten. Tegenvallende resultaten dienen daarom veelal als een aanmoediging om méér gegevens te verzamelen en te verwerken.

Minder vertrouwen in mensen

“Getallen hebben iets absoluuts, zo is het en niet anders”, legt econometrist Sanne Blauw uit. We hopen via algoritmes tot eerlijkere en betere besluitvorming te komen en hebben meer vertrouwen in techniek dan in mensen. We kennen onze eigen beperkingen en die van anderen maar al te goed: mensen zijn feilbaar en kunnen niet het hele plaatje overzien. Ze zien slechts een deel van de werkelijkheid en zitten boordevol vooroordelen.

Maar anders dan vaak gedacht, geldt hetzelfde voor algoritmes. Algoritmes trekken immers conclusies op basis van de wiskundige formules die door mensen zijn ontworpen en de datasets die door mensen zijn geselecteerd. Hoe zo’n ‘bias’ in algoritmische systemen tot regelrechte discriminatie leidt, werd pijnlijk zichtbaar in 2014 toen Amazon een zelflerend algoritme inzette voor de werving van nieuw personeel.

Het systeem werd gevoed met cv’s van mensen die sinds 2004 hadden gesolliciteerd en met de informatie of ze al dan niet waren aangenomen. Een jaar later bleek het systeem feilloos vrouwen uit te sluiten. Die maakten in het verleden weinig kans op een baan bij Amazon. Omdat het algoritme voortborduurde op historische data werd deze ongelijkheid bestendigd.

De Amazon-robot zou een waarschuwing moeten zijn voor al die overheden die voorspellende algoritmes inzetten bij arbeidsbemiddeling. Zo kan ik alleen maar hopen dat de gemeente ’s-Hertogenbosch zich bewust is van de risico’s als ik lees dat zij algoritmes willen inzetten ‘om te voorspellen of een cliënt vanuit een uitkering gaat uitstromen naar een fulltimebaan.’

Het feit dat de arbeidsparticipatie van vrouwen met een migratieachtergrond lang is achtergebleven, mag natuurlijk er niet toe leiden dat migrantenvrouwen via een algoritmische uitkomst ook nu minder begeleiding krijgen bij het vinden van werk.

Het is dus cruciaal om niet alleen een goed werkend algoritme te hebben, maar ook kritisch te kijken naar de data waarmee het wordt gevoerd. Nu gebeurt het al te vaak dat simpelweg gewerkt wordt met de data die voorhanden is.

Sociale ongelijkheid

In haar boek Automating Inequality beschrijft de Amerikaanse politicoloog Virginia Eubanks dat de datasets waar overheden over beschikken veelal zijn gekleurd langs de lijnen van inkomen. Want over burgers die zich goed weten te redden, is vaak minder informatie beschikbaar dan over mensen die (financiële) ondersteuning nodig hebben.

Zo ontwikkelde een Amerikaanse overheidsinstelling eens een algoritme om te kunnen voorspellen in welk gezin mogelijk sprake is van kindermisbruik of –verwaarlozing en gebruikte daarvoor de al aanwezige data. Dat bleek informatie te zijn over gezinnen die in het verleden financiële steun hadden aangevraagd. Vervolgens concludeerde het algoritme zélf dat een laag inkomen een indicator was van kinderverwaarlozing en -misbruik. Sommige arme gezinnen kwamen daardoor ten onrechte in beeld, sommige rijke gezinnen juist niet.

Niet alleen het ontwerp en de datasets, maar ook de toepassing kan sociale ongelijkheid vergroten. Dat werd pijnlijk zichtbaar bij het omstreden Systeem Risico Indicatie (SyRI). Via SyRI, dat inmiddels verboden is door de rechter, werd het mogelijk een breed palet aan gegevens te verzamelen over burgers, waaronder informatie over werk, schuldenlast, boetes uit het verleden, huisvesting, onderwijs, pensioen, energiegebruik, zorgverzekeringen en inburgeringstrajecten.

In die berg gegevens kon vervolgens naar patronen worden gezocht, vooral om mensen die frauderen snel in de kraag te grijpen. SyRI is uiteindelijk slechts in een paar wijken ingezet,  allemaal wijken waar vooral armere mensen wonen.

Natuurlijk wordt niemand veroordeeld zonder bewijs van crimineel handelen. Maar de kans dat een foutje of een misstap wordt gevonden, is vele malen groter wanneer jouw administratie minutieus wordt onderzocht. En omgekeerd is de kans op ontdekking van fraude of vergissingen kleiner voor mensen uit wijken waar géén kruisje achter staat.

Dit verschil in behandeling kan verder toenemen door het zelfversterkende effect van een feedback-loop: elk ontdekt fraudegeval moedigt de overheid aan om haar antifraude-inspanningen nog sterker te concentreren op de onderzochte wijken. Want daar zit blijkbaar een probleem. De ‘typische fraudeur’ wordt zo steeds meer gezien als iemand die woont in een kansarme wijk.

Menselijke tegenkracht

Om maximaal te profiteren van de inzichten die algoritmes kunnen bieden, maar tegelijk de mensenrechten hoog te houden, moeten we meer investeren in kritische beleidsmakers, volksvertegenwoordigers en bouwers die expliciet stilstaan bij de verwachte impact op sociale ongelijkheid. Een frisse blik van buiten is daarbij hard nodig, bijvoorbeeld van ethici, kunstenaars en filosofen.

Maar we moeten ook investeren in de ambtenaren en professionals die met de algoritmes werken. Zij moeten kúnnen en dúrven afwijken van geautomatiseerde uitkomsten. Weliswaar schrijft de wet nu al voor dat mensen uiteindelijk altijd het laatste woord moeten hebben bij beslissingen die burgers raken, maar het overdreven grote vertrouwen in techniek leidt ertoe dat dit weinig invulling krijgt.

Voor een optimaal samenspel tussen mens en machine is het daarom nodig om, wanneer geïnvesteerd wordt in meer data en computerkracht, ook meer werk te maken van menselijke tegenkracht.

Tegenmacht wordt ook geboden via transparantie. Overheidsalgoritmes moeten openbaar zijn, inclusief hun broncode en de gebruikte datasets. Het moet duidelijk zijn voor burgers voor welke doelen hun data worden gebruikt. Want, zoals schrijver Maxim Februari terecht stelt: “Als je niet langer wordt beoordeeld op basis van het overtreden van een kenbare norm, maar op basis van geheime risicoprofielen, is de angst voor repercussies aanwezig in ieder contact met de overheid”.

Tenslotte: stel dat algoritmes deugen, dat data kloppen en de toepassing ervan niet leidt tot meer sociale ongelijkheid. Stel dat het systeem niet alleen kritische bouwers, maar ook kritische gebruikers heeft. Dan nóg kan een voorspellend algoritmisch systeem onwenselijk zijn.

Bijvoorbeeld omdat het een te grote inbreuk vormt op onze privacy, omdat het kan leiden tot een chilling effect dat onze vrijheid aantast of omdat we het simpelweg in strijd met de menselijke waardigheid vinden om mensen langs de meetlat van een ‘typische dader’ of een ‘typisch slachtoffer’ te leggen.

We zijn het aan onszelf verplicht om het politieke en maatschappelijke debat over digitalisering beter en intensiever te voeren. We zullen ons de technische begrippen eigen moeten maken om de impact van vooral voorspellende en zelflerende algoritmes te kunnen beoordelen. En we zullen ons telkens weer opnieuw moeten afvragen of er echt een dwingende noodzaak is om van zoveel burgers aan de hand van big data risicoprofielen te maken.

Hoe garanderen we dat mensen vrij zijn om hun eigen leven vorm te geven, en om af te wijken van de sociale norm? Welke grenzen en eisen stellen we aan de voorspellende overheid?

Als we onze grondrechten niet serieus nemen, dan kan alvast één voorspelling worden gedaan: dat een te gemakkelijke omgang met persoonlijke data het vertrouwen van veel burgers in hun overheid ernstig zal schaden, alle goede bedoelingen ten spijt.

Literatuur

• Eubanks, V. Automating Inequality – How high-tech tools profile, police, and punish the poor. St Martin’s Press, 2018.
• Morozov, E. ‘Dat Big Tech een pandemie moet oplossen is het politieke probleem van deze tijd’, De Correspondent, 20 april 2020
• Mudde, T. ‘Hoe komen ze aan die cijfers? Econometrist Sanne Blauw zoekt het uit’, de Volkskrant, 26 oktober 2018.
• Wetenschappelijke Raad voor het Regeringsbeleid. Big Data in een vrije en veilige samenleving. Den Haag, 2016.