(triflMi
m
F II IfrlBlJïl
ll PI
1
J
J
10
'Ci^
Big data in de praktijk
NIEUWS 15
Onderzoeker: datagedreven besluitvorming is al overal
<m
it mm mi1 AM
Overheden en bedrijven leunen
steeds meer op computersystemen. i f n
Maar daarop is veel te weinig toezicht, Ji ',v' f
blijkt uit nieuw onderzoek. De burger '"j Mi !1;;
heeft het nakijken.
••mt
Tot zover niks geks, misschien.
Maar de duur van Loomis' celstraf
was vooral bepaald met hulp van
een computerprogramma van een
privaat bedrijf dat rechters helpt bij
het maken van inschattingen over
verdachten en veroordeelden.
Loomis moest een aantal vragen
lijsten invullen. Nadat de algorit
mes van het Compas-systeem er
overheen waren gegaan, was de uit
komst helder: ,,U bent door het sys
teem geïdentificeerd als iemand die
een groot risico voor de gemeen
schap vormt, een persoon met een
hoog risico op geweld en recidive'',
zei de rechter. Punt uit. De compu
ter had gesproken.
Loomis ging in beroep, eiste inzage
in de achterliggende formules, de
algoritmes. Hij wilde weten op ba
sis waarvan hij dan als gevaarlijk
werd beschouwd. Maar die kreeg
hij niet. Het hooggerechtshof van
Wisconsin oordeelde in die zaak in
2017 dat de risicoanalyse geheim
moet blijven, ook om de bedrijfsbe
langen van Compas te beschermen.
Vooralsnog lijken dit 'Ameri
kaanse toestanden', maar het is be
paald geen ver-van-ons-bedshow.
Ook in Nederland domineren de al
goritmes steeds vaker de risicoana
lyses, besluitvorming en tariefbe
palingen bij overheden en bedrij
ven. Door gigantische hoeveelhe
den data te gebruiken, proberen in
stanties als de Belastingdienst, de
politie maar ook banken en verze
keraars gevaar vooraf te voorspel
len, potentiële fraude op te sporen
en tarieven te bepalen.
Met alle risico's van dien. Geau
tomatiseerde discriminatie ligt op
de loer, ziet Bart van der Sloot, on
derzoeker aan de Universiteit van
Tilburg. De afgelopen drie jaar
coördineerde hij onderzoek naar de
ontwikkeling van big data, in op
dracht van het Wetenschappelijk
Onderzoek- en Documentatiecen
trum (WODC) van het ministerie
van Justitie en Veiligheid. De uit
komst publiceerde hij onlangs, in
een bijna driehonderd pagina's dik
boek. ,,De datagedreven besluitvor
ming is overal. Verzekeraars kijken
naar postcodegebieden, in migran
tenwijken worden minder makke
lijk leningen verstrekt. De politie
werkt met 'predictive policing', zo
dat criminaliteit voorspeld kan
worden. Vaak werkt het helemaal
t Er is amper inzicht
in en toezicht op de
geheime formules
van het datagebruik
Tt
ty/H wwi
imn
niet, of het werkt discriminatie in
de hand omdat alleen in zwakkere
wijken wordt gecontroleerd. En de
Belastingdienst bijvoorbeeld, auto
matiseerde veel van haar processen,
maar mede daardoor werd de kin
dertoeslag bij veel gezinnen onte
recht stopgezet.''
Levend lab
Van der Sloot signaleert een paar
prominente tekortkomingen als het
gaat om die datagedreven toepas
singen. Er is amper inzicht in en
toezicht op de geheime formules,
burgers kunnen lastig bezwaar ma
ken tegen massaal datagebruik en
het stuurt ongemerkt en misschien
ongewild ons gedrag. ,,Voorbeeld:
in de uitgaansstraat Stratumseind
in Eindhoven wordt geëxperimen
teerd met een 'levend lab' om agres
sie tegen te gaan. Soms wordt het
licht gedimd, of wordt een manda-
rijnengeur verspreid. Zo worden
we ongemerkt gestuurd, maar nie-
mand vraagt of je mee wilt doen.''
De onderzoekers onder leiding
van Van der Sloot doen een aantal
aanbevelingen: het gebruik van al de
gegevens en formules moet beter
worden gereguleerd, bezwaar ma
ken moet makkelijker worden, en er
moet een speciale 'data-advocaat'
komen, iemand die a la een om
budsman wel inzicht krijgt in ge
heime formules en als scheidsrech
ter kan optreden bij geschillen over
geautomatiseerde discriminatie.
Van der Sloot: ,,Dit moeten we
echt regelen. Nu data een steeds do
minantere rol krijgen, moeten we
opkomen voor deze belangen. Als je
dat niet doet, is de uiterste conse
quentie dat we steeds vaker als
'groep' worden bekeken, dan ver
sterk je ongelijkheid die er al is. Als
de politie op basis van statistieken
veel vaker in migrantenwijken gaat
patrouilleren, worden daar bijna
automatisch ook meer mensen ver
dacht.''
IMDb Q I
vrijdag 6 september 2019
GO
De computer
oordeelt:
u krijgt zes jaar
gevangenisstraf
Niels Klaassen
Tilburg
Zes jaar gevangenisstraf kreeg Eric
Loomis uit Wisconsin. Hij was ge
vlucht voor de politie in een auto
die gebruikt was bij een schietpar
tij. Dus moest hij de cel in.
h,
Sa Delete "Facebook"? ÜÜHfl
I J Deleting this app will also
II 1 delete its data. jJW
Sociale media leveren veel data op. foto ap
CAS
De politie werkt met een
Criminaliteits Anticipatie
Systeem. Dat systeem
toont op een kaart op
welke plekken op welk
moment de kans het
grootst is dat er misdrij
ven plaatsvinden. Met
zogenoemde hot times
en hot spots kunnen de
kaarten de wijkteams
helpen bij het bepalen
van hun inzet. De algo
ritmes helpen bij het
analyseren van grote
hoeveelheden gegevens
over bijvoorbeeld tijd-
stippen en plekken waar
ingebroken wordt, het
aantal inbraken en
adressen van crimine
len. Het is een opmaat
naar 'predictive poli
cing', voorspellend poli
tiewerk.
Syri
Syri staat voor het lan
delijk Systeem Risico In
dicatie, een programma
dat potentiële fraudege
vallen filtert. Met allerlei
gekoppelde persoonsin
formatie - over uitkerin
gen, toeslagen, asielsta-
tus en van de arbeidsin
spectie - kan het algo
ritme bewoners als risi
cogeval bestempelen,
waarna opsporingsamb
tenaren bij mogelijke
fraudeurs kunnen aan
kloppen. Het Syri-pro-
ject in de Rotterdamse
wijken Hillesluis en
Bloemhof werd onlangs
getorpedeerd na pro-
test in de wijk en de ge
meenteraad. Ook loopt
er nog een rechtszaak
tegen Syri, aangespan
nen door een coalitie
van privacyexperts en
burgerrechtenbewegin
gen. ,,U heeft misschien
nog niets verkeerds ge
daan, maar instanties
houden u wel scherp in
de gaten. U bent bij
voorbaat verdacht, maar
u weet dat niet'', klinkt
de voorlichtingsfilm van
bijvoorbaatverdacht.nl,
de website van de priva-
cycoalitie.
