Van de muziek die we luisteren tot de straf die iemand krijgt in de rechtbank: algoritmes spelen een grote rol in onze levens. Veel meer dan waar de meeste mensen zich van bewust zijn. Moeten we bang zijn voor de macht van deze formules óf voor de mensen die ze maken en de data invoeren?
Dit is een longread van Punt magazine.
“Een algoritme kun je vergelijken met een stappenplan”, vertelt docent Jan Oostindie, verbonden aan het lectoraat Robotica en Mechatronica van Avans. Algoritmes (wiskundige formules) maken ons leven op het eerste gezicht efficiënter. Neem Google Maps die de meest handige route uitzoekt. Albert Heijn die persoonlijke bonusaanbiedingen uitzoekt. Spotify die telkens nieuwe artiesten en nummers als suggestie doet. Maar ook: het algoritme van bol.com, dat ons koopgedrag analyseert en op basis daarvan producten laat zien die nóg beter bij ons passen. De voorbeelden zijn ontelbaar.
Algoritmes slurpen informatie over je op om tot een suggestie of resultaat te komen. Ze proberen een identiteitsprofiel van je te schetsen. Daarom zijn online verzamelde gegevens volgens Oostindie heel waardevol voor bedrijven: “Data zijn de olie van de 21e eeuw.” Je zoekresultaten regelmatig verwijderen? Heeft geen enkel nut, die blijven voor altijd bekend bij Google. Maar algoritmes gaan nog verder: ze bepalen de (online) prijzen en speuren fraudeurs op. Oostindie: “Mensen weten vaak niet eens dat met de data die online over hen verzameld worden vervolgens wordt bepaald welke baan bij ze past en met wie ze een relatie aan kunnen gaan.”
Minder bevooroordeeld
“Want less biased decisions? Use algorithms”, schreef Alex P. Miller in augustus voor Harvard Business Review. Miller is een PhD-student in Information Systems & Technology aan de Universiteit van Pennsylvania’s Wharton School en een duidelijk voorstander van het gebruik algoritmes om keuzes te laten maken: “Ze zijn véél minder bevooroordeeld en veel accurater dan de mensen die ze vervangen.” Miller noemt in zijn artikel verschillende wetenschappelijk onderbouwde voorbeelden waarin algoritmes betere keuzes maakten dan mensen. Kritiek op algoritmes veegt hij van tafel: “Als iets je zou moeten alarmeren, is dat het feit dat zoveel belangrijke beslissingen worden gemaakt door mensen, een ras waarvan we weten dat we incompetent, inconsistent en bevooroordeeld zijn.” Volgens hem maken journalisten algoritmes en de ‘gevaren’ onterecht zwart.
Ideale kandidaat
Diezelfde door Miller geliefde algoritmes worden ook op niveau gebruikt voor andere doeleinden dan puur entertainment of efficiëntie. Oostindie noemt als voorbeeld de arbeidsmarkt: “Bedrijven gebruiken de formules om de ideale kandidaat aan te wijzen voor een openstaande functie, door verzamelde data te analyseren.” Of neem rechtbanken. Computers zouden vaak beter beoordelen wat voor straf bij iemand past dan mensen, weet de docent. Zo wordt in bijna alle Amerikaanse staten in de rechtszaal gebruikt gemaakt van Public Safety Assessment of COMPAS, algoritmes die aan elke verdachte een risicoscore geven. Die score moet helpen bepalen of verdachten voorlopig kunnen worden vrijgelaten, in afwachting van de verdere behandeling van hun zaak.
Je zou bijna geloven dat algoritmes alles beter kunnen en onder meer de rechtspraak beter uit is zónder mensen. Maar er is ook een andere kant van de medaille. Uit onderzoek van non-profitorganisatie ProPublica bleek in 2016 dat het algoritme achter COMPAS veel vaker onterecht een hoge risicoscore toewees aan zwarte mensen, terwijl witte mensen vaker onterecht een lage score kregen.
Hoe het algoritme precies werkt, is bedrijfsgeheim, maar wel bekend is dat meeweegt of verdachten lid zijn van een bende, of hun ouders zijn gescheiden en of ze uit een buurt komen waar veel misdaden worden gepleegd. Die methode leidt tot hogere risicoscores voor zwarte verdachten die bijvoorbeeld vaker in armere wijken wonen.
Gebrek aan transparantie
De zo door Miller geprezen algoritmes om beslissingen maken, worden gevoed door data. Maar die data zijn ingevoerd door mensen. Cathy O’Neil, wiskundige en eerder werkzaam op Wall Street, schreef het boek Weapons of Math Destruction (2016). In een interview met NRC: “De vooroordelen die mensen bewust of onbewust invoeren in de data, worden onderdeel van de computer.” De algoritmes zijn dus niet zo onbevooroordeeld als Miller beweert.
Een ander punt dat O’Neil zorgen baart, is het gebrek aan transparantie. In haar werk kwam ze genoeg voorbeelden tegen van individuen waarbij algoritmes hen tegenwerkten maar de bedrijven niet wilden uitleggen hoe hun algoritmes werkten en hoe dus een keuze tot stand komt. O’Neil vertelt in het interview met NRC: “Algoritmes worden gepresenteerd als een soort magie. Het vertrouwen in algoritmes komt ook doordat men denkt dat computers geen intenties hebben. Dat klopt. Maar de ménsen die computers programmeren, en definiëren wat het doel van een computersysteem is, hebben wel intenties.”
Toezichthouder
O’Neil vindt dat er een toezichthouder voor algoritmes moet komen. “Deze toezichthouder moet goed begrijpen hoe een algoritme werkt en of het goed uitpakt voor burgers. Er zijn de mensen die het algoritme hebben gemaakt, er zijn mensen voor wie het algoritme bedoeld is en er zijn mensen voor wie het algoritme faalt. Dan zijn er nog zorgen. Is het algoritme accuraat? Zijn er vals positieven? Vals negatieven? Is het transparant, kunnen we het algoritme begrijpen? Is het eerlijk? Is het racistisch?”
Avanslector Oostindie pleit ook voor meer transparantie. “Het is vooral erg dat we niet weten hóe een algoritme tot een besluit komt. We weten vaak niet hoe het onderliggende proces tot stand is gekomen. We bekritiseren het te weinig, terwijl we van mensen ook niet zomaar iets aannemen.”